Nyligen, under rättegången mot Particle News, @particle_news ompröva värdet och gränserna för LLM:er i scenariot för transaktionsinformationsflödet. Particle är en mycket sofistikerad AI-nyhetsprodukt som gör ett utmärkt jobb med informationsbredd och neutralitet, och läsbarhet och hörbarhet av flytande innehåll. Det finns dock en strukturell skillnad mellan denna precisionspolerade upplevelse och transaktionsinformationssystemet, och det skrivs ner först för att se om det kan hjälpa kollegor som också gör liknande produkter. 1. Information fångas inte in och integreras, utan samlas in i kluster. Jag håller helt med om begreppet "berättelse" som grundaren Sara Beykpour upprepade gånger betonat i intervjuer, vilket också är en av deras viktigaste höjdpunkter, med betoning på att information inte "grips tag i och integreras" utan "klustras och förstås". Om information bara är hjärndöd skrapning och sammanfogning kommer all nedströmsbeställning och trovärdighetsbedömning att suddas ut. I synnerhet i transaktionsscenarier, där informationsdensiteten är extremt hög, realtidskraven är starka och kontextspannet är stort, är det omöjligt att låta den stora modellen "förstå fritt", utan måste först genomföra en omgång strukturerad semantisk klustring av AI för att organisera den fragmenterade informationen i flera kompakta "händelsekluster" (berättelser) med interna kausala ledtrådar. 2. LLM-styrkor och blinda fläckar: Neutralitet, kausalitet kontra prediktiv makt - LLM:er har betydande fördelar när det gäller stilkontroll/åsiktsneutralitet med måtta. Men efter polymerisation + många efterutvärderingar offras aktualitet och strukturell spänning. - LLM:er är bra på bedömning av kausala kedjor, analys av orsak och verkan och några punkter för att förfina om det finns ett samband mellan mycket nyanserade saker, särskilt "påverkansvägen" och "uppströms- och nedströmsreaktioner", som kommer att bli en av de viktiga logikerna för transaktioner. - LLM:er är inte bra på att förutspå. Som en statistisk språkmodell förstärker den naturligtvis "mainstream opinioner" eller "högfrekventa signaler". Vår egen observation är att AI alltid är "överdrivet optimistisk", och Saras bedömning är: "Om många människor säger att lag A kommer att vinna, kommer modellen att tro att lag A vann." "Förutsägelser är en stor blind fläck för LLM:er och bör inte användas som en signalmotor. Å andra sidan återstår det att se om chatbot-produkter som Flush eller Rockflows Bobby-liknande öppna Q&A + förutsägelse kan bryta igenom denna begränsning eller fångas. 3. Strategier för alternativa förutsägelser: orsakskedja + strukturell tidslinje Om förutsägelser är en aktuell brist i LLM:er är det användbart att behålla avsnitt som TradingView Calendar och Cause & Effect när prognoser inte görs och aktualiteten är hög. Att dra slutsatser om huruvida en sak är relaterad till en annan och den relativa ordningen och utlösarna för händelseutvecklingen. Denna bedömning är också tillräcklig för att etablera en informationsbiasmodell för handelssystemet utan verklig prognos. 4. Utvärderingsarbete: Utvärdering är definitivt ett mycket raffinerat och riktat arbete. Till exempel begränsar återhållsamhet uttrycket: varje mening kan bara ha en synvinkel, undvik satser; Till exempel "tips" = "åsikt" för att undvika vaga slutsatser; Till exempel kan sammanfattningen inte överstiga X-ordet, och när det väl finns en subjektiv färg eller ett "avsiktligt uttryck" anses det vara ett fel. Naturligtvis kvantifieras också den "kritiska" graden av varje enhetsinnehåll, för att bättre få pipelinen att köras automatiskt. Hela pipelinen är asynkron och repeterbar: så länge eval-kontrollerna misslyckas startas uppgiften om automatiskt. Därför behöver modellen bara slutföra en liten uppgift i taget, till exempel att avgöra om en händelse har inträffat eller mata ut en icke-implicit sammanfattning, i stället för att slutföra all inferens och uttryck i en omgång. Den underliggande logiken i detta tillvägagångssätt är att dela upp generationen i flera verifierbara och återanvändbara små uppgifter, som var och en kan kontrolleras i verkligheten för att i största möjliga utsträckning undvika hallucinationer och tendenser. 5. Komplett produktionslinje från prototyp till högkvalitativt AI-innehåll Sara delar med sig av hela processen för att göra ett modereringssystem: skriv först en uppmaning i en testmiljö, ställ fem frågor, sedan jailbreaka eller bryt strukturen eller glöm sammanhanget, tills modellen visar ett stabilt och bra kvalitetsbeteende kan prompten vara hundratals rader lång. När prompten är stabil från början överlämnas den till det tekniska teamet, promptmallen demonteras i komponenter och placeras i den asynkrona pipelinen, och alla andra frågor körs för offlineanalys. Slutligen, starta livefrågetestet för att köra systemet i verkliga scenarier och gå sedan officiellt med i utvärderingen. Sammanfattningsvis, om du vill bygga ett AI-assisterat system för informationsaggregering och push, fantisera inte om att den stora modellen direkt ger alfa; Alla förutsägelser som använder AI för att berätta vilket mål du ska köpa är bedrägerier. Det verkliga kunnandet är strukturen, processen och verifieringssystemet som gör LLM:er tillförlitliga under arkitektur.