Kürzlich habe ich Particle News @particle_news ausprobiert und darüber nachgedacht, welchen Wert und welche Grenzen LLMs im Kontext von Handelsinformationsströmen haben. Particle ist ein sehr ausgefeiltes AI-Nachrichtenprodukt, das in Bezug auf Informationsbreite & Neutralität sowie die Lesbarkeit und Hörbarkeit von flüssigen Inhalten hervorragende Arbeit leistet. Aber diese präzise Erfahrung hat eine strukturelle Diskrepanz zu handelsspezifischen Informationssystemen. Ich schreibe das auf, um zu sehen, ob es meinen Kollegen, die ähnliche Produkte entwickeln, helfen kann. 1. Informationen sind nicht einfach nur aggregiert, sondern werden verstanden und geclustert. Das Konzept der "Story", das die Gründerin Sara Beykpour in Interviews immer wieder betont, stimme ich voll und ganz zu. Es ist eines ihrer Kernmerkmale, das betont, dass Informationen nicht "erfasst und integriert", sondern "geclustert und verstanden" werden. Wenn Informationen nur gedankenlos erfasst und aneinandergereiht werden, wird die gesamte Sortierung und Vertrauensbewertung downstream unklar. Besonders im Handelskontext, wo die Informationsdichte extrem hoch, die Anforderungen an die Echtzeitfähigkeit stark und der Kontext weitreichend ist, kann man großen Modellen nicht erlauben, "frei zu verstehen". Stattdessen muss AI eine erste Runde der strukturierten semantischen Clusterung durchführen, um fragmentierte Informationen in kompakte "Ereigniscluster" (Stories) mit inneren kausalen Verknüpfungen zu organisieren. 2. Vorteile und blinde Flecken von LLMs: Neutralität, Kausalität vs. Vorhersagekraft - LLMs haben offensichtliche Vorteile in der Moderation und der neutralen Kontrolle von Stil/Meinungsstimmungen. Aber durch Aggregation und viele Post-Evaluierungen wird die Aktualität und strukturelle Spannung geopfert. - LLMs sind gut darin, Kausalitätsketten zu beurteilen, cause & effect-Analysen durchzuführen und in einigen Bullet Points sehr nuancierte Zusammenhänge zwischen Dingen zu extrahieren, insbesondere in Bezug auf "Einflusswege" und "Reaktionen von oben nach unten", die eine wichtige Logik für den Handel darstellen werden. - LLMs sind nicht gut im Vorhersagen. Als statistisches Sprachmodell neigen sie dazu, "Mainstream-Meinungen" oder "Hochfrequenzsignale" zu verstärken. Unsere eigene Beobachtung ist, dass AI immer "übermäßig optimistisch" ist, während Saras Urteil lautet: "Wenn viele Leute sagen, dass Team A gewinnen wird, wird das Modell annehmen, dass Team A gewonnen hat." Vorhersagen sind ein großer blinder Fleck von LLMs und sollten nicht als Signalmaschine verwendet werden. Im Vergleich dazu bleibt abzuwarten, ob ähnliche Produkte wie Tonghuashun Wencai oder Rockflows Bobby, die offene Frage-Antwort- und Vorhersage-Chatbot-Produkte anbieten, diese Einschränkung überwinden oder gefangen bleiben. 3. Strategien zur Ersetzung von Vorhersagen: Kausalitätskette + strukturelle Zeitachse Wenn Vorhersagen die Schwäche von LLMs sind, wäre es sehr nützlich, in einem Szenario, in dem keine Vorhersagen gemacht werden und hohe Anforderungen an die Aktualität bestehen, ähnliche Tradingview-Kalender und cause & effect-Abschnitte beizubehalten. Es geht darum, zu beurteilen, ob eine Sache mit einer anderen in Beziehung steht und die relative Reihenfolge und die auslösenden Faktoren der Ereignisentwicklung. Diese Beurteilung reicht aus, um ein Informationsverzerrungsmodell für Handelssysteme zu erstellen, ohne echte Vorhersagen zu benötigen. 4. Evaluierungsarbeit: Die Evaluierung ist absolut eine sehr feingliedrige und zielgerichtete Arbeit. Zum Beispiel, die Ausdrucksweise zu beschränken: Jeder Satz darf nur einen Standpunkt haben, um Nebensätze zu vermeiden; zum Beispiel "andeuten" = "Meinung", um vage Schlussfolgerungen zu vermeiden; zum Beispiel darf die Zusammenfassung nicht mehr als X Wörter umfassen, und sobald es subjektive Färbung oder "intentionale Ausdrucksweise" gibt, wird es als Fehler gewertet. Natürlich wird auch der "kritische" Grad jedes einzelnen Inhalts quantifiziert, um die nachfolgende Pipeline besser automatisch zu betreiben. Die gesamte Pipeline ist asynchron und wiederholbar: Wenn die Evaluierung nicht besteht, wird die Aufgabe automatisch neu gestartet. Daher muss das Modell jedes Mal nur eine kleine Aufgabe erledigen, wie zum Beispiel zu beurteilen, ob ein Ereignis stattgefunden hat, oder eine nicht andeutende Zusammenfassung auszugeben, anstatt in einer Runde alle Schlussfolgerungen und Ausdrücke zu vollziehen. Diese Vorgehensweise basiert auf der Logik, die Generierung in mehrere überprüfbare, wiederverwendbare kleine Aufgaben zu zerlegen, von denen jede einer Realitätprüfung unterzogen werden kann, um Illusionen und Tendenzen so weit wie möglich zu vermeiden. 5. Vom Prototyp zur vollständigen Produktionslinie für qualitativ hochwertige AI-Inhalte Sara teilte den vollständigen Prozess, den sie für das Moderationssystem durchlaufen haben: Zuerst wird in einer Testumgebung ein Prompt geschrieben, der fünf Fragen festlegt, dann wird der Rahmen durchbrochen oder der Kontext vergessen, bis das Modell ein stabiles und qualitativ gutes Verhalten zeigt, wobei der Prompt mehrere hundert Zeilen lang sein kann. Wenn der Prompt vorläufig stabil ist, wird er an das technische Team übergeben, das die Prompt-Vorlage in Komponenten zerlegt und in die asynchrone Pipeline einfügt, um alle anderen Fragen offline zu analysieren. Schließlich beginnt der Live-Fragentest, bei dem das System in realen Szenarien läuft, und erst dann wird die Evaluierung offiziell hinzugefügt. Zusammenfassend lässt sich sagen, dass, wenn Sie ein AI-unterstütztes Informationsaggregations- und -verteilungssystem aufbauen möchten, Sie nicht erwarten sollten, dass große Modelle direkt Alpha liefern; alle, die mit AI Vorhersagen machen, um Ihnen zu sagen, welches Asset Sie kaufen sollen, sind Betrüger. Das wahre Know-how liegt in Struktur, Prozessen und Validierungssystemen, die LLMs unter einer Architektur zuverlässig machen.