Nylig, under utprøvingen av Particle News, @particle_news revurdere verdien og grensene for LLM-er i transaksjonsinformasjonsflytscenariet. Particle er et veldig sofistikert AI-nyhetsprodukt som gjør en utmerket jobb med informasjonsbredde og nøytralitet, og flytende innhold, lesbarhet og hørbarhet. Det er imidlertid en strukturell forskjell mellom denne presisjonspolerte opplevelsen og transaksjonsinformasjonssystemet, og det skrives ned først for å se om det kan hjelpe kolleger som også lager lignende produkter. 1. Informasjon er ikke fanget og integrert, men gruppert forståelse. Jeg er helt enig i begrepet «historie» som grunnlegger Sara Beykpour gjentatte ganger understreket i intervjuer, som også er et av deres kjernehøydepunkter, og understreker at informasjon ikke er «grepet og integrert», men «gruppert og forstått». Hvis informasjon bare er hjerneløs skraping og sammenkobling, vil all nedstrøms rekkefølge og troverdighetsvurdering bli uskarp. Spesielt i transaksjonsscenarier, der informasjonstettheten er ekstremt høy, sanntidskravene er sterke, og kontekstspennet er stort, er det umulig å la den store modellen "forstå fritt", men må først gjennomføre en runde med strukturert semantisk klynging av AI for å organisere den fragmenterte informasjonen i flere kompakte "hendelsesklynger" (historier) med interne årsaksspor. 2. LLM-styrker og blindsoner: Nøytralitet, kausalitet vs. prediktiv kraft - LLM-er har betydelige fordeler i stilkontroll/meningsnøytralitet i moderasjon. Etter polymerisering + mange post-evals ofres imidlertid aktualitet og strukturell spenning. - LLM-er er gode på årsakskjedevurdering, årsaks- og virkningsanalyse, og noen kulepunkter for å avgrense om det er en sammenheng mellom svært nyanserte ting, spesielt "påvirkningsbanen" og "oppstrøms og nedstrøms reaksjoner", som vil bli en av de viktige logikkene for transaksjoner. - LLM-er er ikke flinke til å forutsi. Som en statistisk språkmodell forsterker den naturlig «mainstream-meninger» eller «høyfrekvente signaler». Vår egen observasjon er at AI alltid er «altfor optimistisk», og Saras vurdering er: «Hvis mange sier at lag A vil vinne, vil modellen tro at lag A vant.» "Prediksjon er en stor blindsone for LLM-er og bør ikke brukes som en signalmotor. På den annen side gjenstår det å se om chatbot-produkter som Flush eller Rockflows Bobby-lignende åpne spørsmål og svar + -prediksjon kan bryte gjennom denne begrensningen eller bli fanget. 3. Strategier for alternative prediksjoner: årsakskjede + strukturell tidslinje Hvis spådommer er en aktuell feil i LLM-er, er det nyttig å beholde seksjoner som TradingView Calendar og Cause & Effect når prognoser ikke er laget og aktualiteten er høy. Å utlede om en ting er relatert til en annen og den relative rekkefølgen og utløserne av utviklingen av hendelser. Denne vurderingen er også nok til å etablere en informasjonsskjevhetsmodell for handelssystemet uten reelle prognoser. 4. Evalueringsarbeid: Evaluering er definitivt et veldig raffinert og retningsgivende arbeid. For eksempel begrenser begrensning uttrykk: hver setning kan bare ha ett synspunkt, unngå setninger; For eksempel, "hint" = "mening" for å unngå vage konklusjoner; For eksempel kan sammendraget ikke overstige X-ordet, og når det er en subjektiv farge eller "tilsiktet uttrykk", regnes det som en feil. Selvfølgelig er den "kritiske" graden av hvert enhetsinnhold også kvantifisert, for bedre å få rørledningen til å kjøre automatisk. Hele pipelinen er asynkron og repeterbar: Så lenge evalueringskontrollene mislykkes, startes oppgaven automatisk på nytt. Derfor trenger modellen bare å fullføre en liten oppgave om gangen, for eksempel å fastslå om en hendelse har inntruffet eller sende ut et ikke-implisitt sammendrag, i stedet for å fullføre alle slutningene og uttrykket i én runde. Den underliggende logikken i denne tilnærmingen er å dele opp generasjonen i flere verifiserbare og gjenbrukbare små oppgaver, som hver kan sjekkes for å unngå hallusinasjoner og tendenser i størst mulig grad. 5. Komplett produksjonslinje fra prototype til AI-innhold av høy kvalitet Sara deler hele prosessen med å gjøre et modereringssystem: skriv først en forespørsel i et testmiljø, sett fem spørsmål, deretter jailbreak eller bryt strukturen eller glem konteksten, til modellen viser stabil og god oppførsel, kan ledeteksten være hundrevis av linjer lang. Når ledeteksten i utgangspunktet er stabil, overleveres den til det tekniske teamet, ledetekstmalen demonteres i komponenter og legges inn i den asynkrone pipelinen, og alle andre spørsmål kjøres for frakoblet analyse. Til slutt starter du live-spørsmålstesten for å kjøre systemet i reelle scenarier, og blir deretter offisielt med i evalueringen. Oppsummert, hvis du ønsker å bygge et AI-assistert informasjonsaggregering og push-system, ikke fantaser om at den store modellen direkte gir alfa; Alle spådommer som bruker AI for å fortelle deg hvilket mål du skal kjøpe, er svindel. Den virkelige kunnskapen er strukturen, prosessen og verifiseringssystemet som gjør LLM-er pålitelige under arkitektur.