Äskettäin Particle Newsin kokeilun aikana @particle_news miettimään uudelleen LLM:ien arvoa ja rajoja transaktiotietovirtaskenaariossa. Particle on erittäin hienostunut tekoälyuutistuote, joka tekee erinomaista työtä tiedon laajuuden ja neutraaliuden sekä nestemäisen sisällön luettavuuden ja kuuluvuuden suhteen. Tämän tarkasti hiotun kokemuksen ja transaktiotietojärjestelmän välillä on kuitenkin rakenteellinen ero, ja se kirjoitetaan ensin muistiin, jotta nähdään, voiko se auttaa kollegoita, jotka myös tekevät samanlaisia tuotteita. 1. Tietoa ei kerätä ja integroida, vaan klusteroitua ymmärrystä. Olen vahvasti samaa mieltä perustaja Sara Beykpourin haastatteluissa toistuvasti korostamasta "tarinan" käsitteestä, joka on myös yksi heidän keskeisistä kohokohdistaan, korostaen, että tietoa ei "tartu ja integroida" vaan "ryhmitellään ja ymmärretään". Jos tieto on vain aivotonta kaapimista ja ketjuttamista, kaikki myöhemmän järjestyksen ja uskottavuuden arviointi hämärtyy. Erityisesti transaktioskenaarioissa, joissa tietotiheys on erittäin korkea, reaaliaikaiset vaatimukset ovat vahvat ja kontekstialue on suuri, on mahdotonta antaa suuren mallin "ymmärtää vapaasti", vaan sen on ensin suoritettava tekoälyn jäsennelty semanttinen klusterointikierros hajanaisen tiedon järjestämiseksi useiksi kompakteiksi "tapahtumaklustereiksi" (tarinoiksi), joilla on sisäisiä kausaalisia vihjeitä. 2. LLM:n vahvuudet ja sokeat pisteet: neutraalius, syy-seuraussuhde vs. ennustevoima - LLM:illä on merkittäviä etuja tyylinhallinnassa/mielipiteissä, tunteiden neutraaliudessa kohtuudella. Polymeroinnin + monien jälkivaiheiden jälkeen oikea-aikaisuus ja rakenteellinen jännitys kuitenkin uhrataan. - LLM:t ovat hyviä syy-seurausketjun arvioinnissa, syy-seurausanalyysissä ja joissakin luetelmakohdissa, joiden avulla voidaan tarkentaa, onko hyvin vivahteikkaiden asioiden välillä korrelaatiota, erityisesti "vaikutuspolun" ja "ylä- ja loppupään reaktioiden", välillä, joista tulee yksi transaktioiden tärkeistä logiikoista. - LLM:t eivät ole hyviä ennustamaan. Tilastollisena kielimallina se luonnollisesti vahvistaa "valtavirran mielipiteitä" tai "korkeataajuisia signaaleja". Oma havaintomme on, että tekoäly on aina "liian optimistinen", ja Saran arvio on: "Jos monet ihmiset sanovat, että joukkue A voittaa, malli luulee, että joukkue A voittaa." "Ennustaminen on suuri sokea piste LLM:ille, eikä sitä pitäisi käyttää signaalimoottorina. Toisaalta jää nähtäväksi, voivatko chatbot-tuotteet, kuten Flush tai Rockflow'n Bobbyn kaltainen avoin Q&A + -ennuste, murtautua tämän rajoituksen läpi vai jäädä loukkuun. 3. Vaihtoehtoisten ennusteiden strategiat: syy-seurausketju + rakenteellinen aikajana Jos ennusteet ovat LLM:n nykyinen virhe, on hyödyllistä säilyttää osiot, kuten TradingView-kalenteri ja Syy ja seuraus, kun ennusteita ei tehdä ja oikea-aikaisuus on korkea. Päättelee, liittyykö yksi asia toiseen ja tapahtumien kehityksen suhteellinen järjestys ja laukaisevat tekijät. Tämä arvio riittää myös luomaan kaupankäyntijärjestelmälle informaatioharhamallin ilman todellista ennustamista. 4. Arviointityö: Arviointi on ehdottomasti hyvin hienostunutta ja suuntaavaa työtä. Esimerkiksi rajoittaminen rajoittaa ilmaisua: jokaisella lauseella voi olla vain yksi näkökulma, vältä lauseita; Esimerkiksi "vihje" = "mielipide" epämääräisten johtopäätösten välttämiseksi; Esimerkiksi yhteenveto ei voi ylittää X-sanaa, ja kun on subjektiivinen väri tai "tarkoituksellinen ilmaisu", sitä pidetään virheenä. Tietenkin myös kunkin yksikön sisällön "kriittinen" aste kvantifioidaan, jotta putkisto toimisi paremmin automaattisesti. Koko putki on asynkroninen ja toistettavissa: niin kauan kuin eval-tarkistukset epäonnistuvat, tehtävä käynnistetään automaattisesti uudelleen. Siksi mallin tarvitsee suorittaa vain pieni tehtävä kerrallaan, kuten määrittää, onko tapahtuma tapahtunut, tai tulostaa ei-implisiittinen yhteenveto, sen sijaan, että kaikki päättelyt ja lausekkeet suoritettaisiin yhdellä kierroksella. Tämän lähestymistavan taustalla oleva logiikka on jakaa sukupolvi useisiin todennettavissa oleviin ja uudelleenkäytettäviin pieniin tehtäviin, joista jokainen voidaan tarkistaa hallusinaatioiden ja taipumusten välttämiseksi suurimmassa määrin. 5. Täydellinen tuotantolinja prototyypistä laadukkaaseen tekoälysisältöön Sara jakaa moderointijärjestelmän tekemisen koko prosessin: kirjoita ensin kehote testiympäristössä, aseta viisi kysymystä, sitten jailbreak tai rikko rakenne tai unohda konteksti, kunnes malli osoittaa vakaata ja laadukasta käyttäytymistä, kehote voi olla satoja rivejä pitkä. Kun kehote on alun perin vakaa, se luovutetaan tekniselle tiimille, kehotemalli puretaan osiin ja laitetaan asynkroniseen putkeen, ja kaikki muut kysymykset suoritetaan offline-analyysiä varten. Aloita lopuksi live-kysymystesti, jotta järjestelmä suoritetaan todellisissa skenaarioissa, ja liity sitten virallisesti arviointiin. Yhteenvetona, jos haluat rakentaa tekoälyavusteisen tiedon yhdistämis- ja työntöjärjestelmän, älä fantasioi suuresta mallista, joka antaa suoraan alfan; Kaikki ennusteet, jotka käyttävät tekoälyä kertomaan, mikä kohde kannattaa ostaa, ovat huijauksia. Todellinen tietotaito on rakenne, prosessi ja varmennusjärjestelmä, joka tekee LLM:istä luotettavia arkkitehtuurin alla.