Récemment, j'ai essayé Particle News @particle_news et j'ai repensé à la valeur et aux limites des LLM dans le contexte des flux d'informations de trading. Particle est un produit d'actualités AI très raffiné, qui excelle dans la neutralité de l'information et la lisibilité/écoutabilité du contenu liquide. Cependant, cette expérience finement polie présente des divergences structurelles avec les systèmes d'information transactionnels, je l'écris pour voir si cela peut aider des collègues qui travaillent sur des produits similaires. 1. L'information n'est pas une simple collecte et intégration, mais une compréhension par clustering. Le concept de "story" que la fondatrice Sara Beykpour souligne à plusieurs reprises dans ses interviews me semble très pertinent, c'est aussi l'un de leurs points forts, soulignant que l'information n'est pas "collectée et intégrée", mais "clustérisée et comprise". Si l'information est simplement collectée et reliée sans réflexion, alors tous les classements et évaluations de crédibilité en aval deviennent flous. Surtout dans le contexte des transactions où la densité d'information est très élevée, les exigences de temps réel sont fortes et l'étendue contextuelle est grande, il est encore plus crucial de ne pas laisser le grand modèle "comprendre librement", mais de faire d'abord un tour de clustering sémantique structuré par l'IA, organisant les informations fragmentées en plusieurs "clusters d'événements" (stories) compacts avec des indices de causalité internes. 2. Les avantages et les zones d'ombre des LLM : neutralité, causalité vs capacité prédictive. - Les LLM ont un avantage évident en matière de contrôle de style/modération et de neutralité des opinions. Cependant, après agrégation et de nombreux post-évaluations, cela sacrifie la réactivité et la tension structurelle. - Les LLM excellent dans le jugement des chaînes causales, l'analyse cause & effet, en extrayant des nuances sur les relations entre des éléments dans certains points, en particulier sur les "chemins d'influence" et les "réactions en amont et en aval", qui deviendront une logique importante pour le trading. - Les LLM ne sont pas doués pour la prédiction. En tant que modèles de langage statistiques, ils amplifient naturellement les "opinions dominantes" ou les "signaux fréquents". Notre propre observation est que l'IA est toujours "trop optimiste", tandis que le jugement de Sara est : "Si beaucoup de gens disent que l'équipe A va gagner, le modèle pensera que l'équipe A a gagné." La prédiction est une grande zone d'ombre pour les LLM, et ils ne devraient pas être utilisés comme moteur de signal. En revanche, des produits de chatbot de type question-réponse ouverts comme Tonghuashun ou Bobby de Rockflow, qui incluent des prévisions, doivent encore prouver s'ils peuvent surmonter cette limitation ou s'ils sont piégés. 3. Stratégies alternatives à la prédiction : chaîne causale + chronologie structurée. Si la prédiction est le point faible actuel des LLM, dans un contexte où la prédiction n'est pas faite et où la réactivité est essentielle, conserver des sections comme le calendrier de tradingview et la cause & effet serait très utile. Déduire si un événement est lié à un autre, ainsi que l'ordre relatif de développement des événements et les facteurs déclencheurs. Ce type de jugement est suffisant pour établir un modèle de biais d'information pour le système de trading, sans nécessiter de véritable prévision. 4. Travail d'évaluation : L'évaluation est absolument un travail très précis et ciblé. Par exemple, limiter de manière mesurée les modes d'expression : chaque phrase ne peut contenir qu'un seul point de vue, éviter les subordonnées ; par exemple, "sous-entendre" = "point de vue", éviter les conclusions floues ; par exemple, le résumé ne peut pas dépasser X mots, et dès qu'il y a une coloration subjective ou une "expression intentionnelle", cela est considéré comme une erreur. Bien sûr, le degré de "critique" de chaque unité de contenu est également quantifié, afin de mieux faire fonctionner le pipeline dont je vais parler ensuite. L'ensemble du pipeline est asynchrone et réexécutable : tant que l'évaluation ne passe pas, la tâche redémarre automatiquement. Ainsi, le modèle doit seulement accomplir une petite tâche à chaque fois, comme déterminer si un événement s'est produit ou produire un résumé sans sous-entendus, plutôt que de compléter toute l'inférence et l'expression en une seule fois. Cette approche repose sur la décomposition de la génération en plusieurs petites tâches vérifiables et réutilisables, chacune pouvant être vérifiée par la réalité, évitant au maximum les illusions et les biais. 5. De la prototype à la ligne de production de contenu AI de haute qualité. Sara a partagé le processus complet de leur système de modération : d'abord, dans un environnement de test, écrire un prompt, définir cinq questions, puis jailbreaker ou briser la structure ou oublier le contexte, jusqu'à ce que le modèle montre un comportement stable et de bonne qualité, le prompt pouvant atteindre plusieurs centaines de lignes. Une fois que le prompt est initialement stable, il est remis à l'équipe technique, qui décompose le modèle de prompt en composants et les intègre dans le pipeline asynchrone, exécutant toutes les autres questions pour une analyse hors ligne. Enfin, les tests de questions en direct commencent, permettant au système de fonctionner dans des scénarios réels, moment où l'évaluation est officiellement intégrée. En résumé, si vous souhaitez construire un système d'agrégation et de diffusion d'informations assisté par AI, ne vous attendez pas à ce qu'un grand modèle vous donne directement un alpha ; tous ceux qui utilisent l'IA pour prédire quel actif acheter sont des escroqueries. Le véritable savoir-faire réside dans la structure, le processus et le système de vérification, rendant les LLM fiables dans cette architecture.