Recentemente, ao experimentar o Particle News @particle_news, repensei o valor e os limites dos LLMs no cenário de fluxo de informações de negociação. O Particle é um produto de notícias AI muito refinado, que se destaca na amplitude e neutralidade da informação, bem como na legibilidade e auditabilidade do conteúdo fluido (liquid content). No entanto, essa experiência meticulosamente refinada apresenta uma divergência estrutural em relação aos sistemas de informação de negociação. Escrevo isso na esperança de que possa ajudar colegas que estão desenvolvendo produtos semelhantes. 1. A informação não é capturada e integrada, mas sim agrupada e compreendida. O conceito de "story" que a fundadora Sara Beykpour enfatiza repetidamente em entrevistas é algo que eu concordo plenamente; é um dos seus principais destaques, enfatizando que a informação não é "capturada e integrada", mas sim "agrupada e compreendida". Se a informação for apenas capturada e encadeada sem reflexão, todas as classificações e avaliações de credibilidade a montante se tornam nebulosas. Especialmente em cenários de negociação, onde a densidade de informação é extremamente alta, a exigência de tempo real é forte e a amplitude do contexto é grande, não podemos permitir que um grande modelo "entenda livremente"; em vez disso, deve haver uma primeira rodada de agrupamento semântico estruturado pela IA, organizando informações fragmentadas em vários "clusters de eventos" (stories) compactos, com pistas causais internas. 2. Vantagens e pontos cegos dos LLMs: neutralidade, causalidade vs capacidade preditiva - Os LLMs têm uma vantagem clara no controle de estilo/moderação e na neutralidade emocional/opiniões. No entanto, após agregação e muitas avaliações pós-evento, a atualidade e a tensão estrutural podem ser sacrificadas. - Os LLMs são bons em fazer julgamentos de cadeias causais, análises de causa e efeito, extraindo nuances sobre se há correlações entre certos pontos, especialmente em relação a "caminhos de influência" e "reações a montante e a jusante", que se tornam uma lógica importante para a negociação. - Os LLMs não são bons em prever. Como modelos de linguagem estatística, tendem a amplificar "opiniões predominantes" ou "sinais de alta frequência". Nossa própria observação é que a IA tende a ser "excessivamente otimista", enquanto o julgamento de Sara é: "Se muitas pessoas dizem que o time A vai ganhar, o modelo assume que o time A ganhou." A previsão é um grande ponto cego dos LLMs e não deve ser usada como um motor de sinal. Em contraste, produtos de chatbot de perguntas abertas e previsões, como o Tonghuashun Wencai ou o Bobby da Rockflow, ainda precisam ser observados para ver se conseguem superar essa limitação ou se permanecem presos. 3. Estratégias alternativas à previsão: cadeia causal + linha do tempo estrutural Se a previsão é a fraqueza atual dos LLMs, em situações que não exigem previsão e têm alta exigência de atualidade, manter seções semelhantes ao calendário do tradingview e ao bloco de causa e efeito será muito útil. Inferir se um evento está relacionado a outro, bem como a ordem relativa de desenvolvimento dos eventos e os fatores desencadeadores. Esse tipo de julgamento é suficiente para construir um modelo de viés informacional para sistemas de negociação, sem a necessidade de previsão real. 4. Trabalho de avaliação: a avaliação é absolutamente um trabalho muito refinado e direcionado. Por exemplo, restringir a forma de expressão: cada frase pode conter apenas um ponto de vista, evitando orações subordinadas; por exemplo, "sugerir" = "opinião", evitando conclusões ambíguas; por exemplo, o resumo não pode exceder X palavras, e uma vez que haja uma conotação subjetiva ou "expressão intencional", é considerado um erro. Claro, o grau de "criticidade" de cada unidade de conteúdo também é quantificado, para melhor permitir que o pipeline que será discutido a seguir funcione automaticamente. Todo o pipeline é assíncrono e executável de forma repetida: assim que a verificação de avaliação falhar, a tarefa é reiniciada automaticamente. Portanto, o modelo precisa completar apenas uma pequena tarefa a cada vez, como determinar se um evento ocorreu ou produzir um resumo sem conotações, em vez de completar toda a inferência e expressão em uma única rodada. A lógica subjacente a essa abordagem é dividir a geração em várias pequenas tarefas verificáveis e reutilizáveis, cada uma das quais pode ser verificada pela realidade, evitando ao máximo ilusões e tendências. 5. Da prototipagem à linha de produção de conteúdo AI de alta qualidade Sara compartilhou o processo completo que eles utilizam para o sistema de moderação: primeiro, em um ambiente de teste, escrevem um prompt, definem cinco perguntas e, em seguida, quebram a estrutura ou esquecem o contexto, até que o modelo demonstre um comportamento estável e de boa qualidade, com prompts que podem ter várias centenas de linhas. Quando o prompt está inicialmente estável, ele é entregue à equipe técnica, que divide o modelo de prompt em componentes e os insere no pipeline assíncrono, executando todas as outras perguntas para análise offline. Finalmente, começam os testes de perguntas ao vivo, permitindo que o sistema funcione em cenários reais, momento em que a avaliação é formalmente incorporada. Em resumo, se você deseja construir um sistema de agregação e envio de informações assistido por AI, não deve esperar que um grande modelo forneça diretamente um alpha; todas as tentativas de usar AI para prever qual ativo comprar são fraudes. O verdadeiro know-how está na estrutura, no processo e no sistema de verificação, tornando os LLMs confiáveis dentro dessa arquitetura.