Recientemente he estado probando Particle News @particle_news, reconsiderando el valor y los límites de los LLM en el escenario de flujo de información de trading. Particle es un producto de noticias AI muy refinado, que destaca en la amplitud e imparcialidad de la información, así como en la legibilidad y audibilidad del contenido fluido (liquid content). Sin embargo, esta experiencia meticulosamente elaborada presenta una discrepancia estructural con los sistemas de información de trading, así que lo escribo para ver si puede ayudar a colegas que están trabajando en productos similares. 1. La información no es capturada e integrada, sino agrupada y entendida. El concepto de "story" que la fundadora Sara Beykpour enfatiza repetidamente en las entrevistas es algo con lo que estoy muy de acuerdo, y es uno de sus puntos destacados, enfatizando que la información no es "capturada e integrada", sino "agrupada y entendida". Si la información solo se captura y se conecta sin pensar, entonces todos los procesos de clasificación y evaluación de credibilidad aguas abajo se volverán confusos. Especialmente en escenarios de trading donde la densidad de información es extremadamente alta, la necesidad de inmediatez es fuerte y el contexto es amplio, no se puede permitir que un gran modelo "entienda libremente", sino que primero debe ser estructurado por AI a través de una ronda de agrupación semántica, organizando la información fragmentada en varios "grupos de eventos" (stories) compactos con pistas causales internas. 2. Ventajas y ceguera de los LLM: neutralidad, causalidad vs capacidad predictiva - Los LLM tienen una clara ventaja en el control de estilo/moderación y en la neutralidad de opiniones y emociones. Pero a través de la agregación y muchas evaluaciones posteriores, se sacrifica la inmediatez y la tensión estructural. - Los LLM son buenos para hacer juicios de cadenas causales, análisis de causa y efecto, extrayendo en algunos puntos muy matizados si hay correlación entre cosas, especialmente en aspectos como "caminos de influencia" y "reacciones aguas arriba y abajo", que se convertirán en una lógica importante para el trading. - Los LLM no son buenos para predecir. Como modelos de lenguaje estadísticos, tienden a amplificar la "opinión dominante" o las "señales de alta frecuencia". Nuestra propia observación es que la AI siempre es "demasiado optimista", mientras que el juicio de Sara es: "Si muchas personas dicen que el equipo A ganará, el modelo asumirá que el equipo A ganó." La predicción es una gran ceguera de los LLM, no se debe usar como motor de señales. En contraste, productos como Tonghuashun Wencai, o el chatbot de preguntas y predicciones Bobby de Rockflow, aún está por verse si pueden superar esta limitación o si están atrapados. 3. Estrategias alternativas a la predicción: cadena causal + línea de tiempo estructural Si la predicción es la debilidad actual de los LLM, en situaciones donde no se hace predicción y se requiere alta inmediatez, mantener secciones como el calendario de tradingview y el área de causa y efecto será muy útil. Inferir si un evento está relacionado con otro, así como el orden relativo de desarrollo de eventos y factores desencadenantes. Este tipo de juicio también es suficiente para establecer un modelo de sesgo informativo para el sistema de trading, sin necesidad de una verdadera predicción. 4. Trabajo de evaluación: La evaluación es absolutamente un trabajo muy detallado y dirigido. Por ejemplo, restringir de manera controlada la forma de expresión: cada oración solo puede tener un punto de vista, evitando las oraciones subordinadas; por ejemplo, "sugerir" = "opinión", evitando conclusiones ambiguas; por ejemplo, el resumen no puede exceder de X palabras, y si hay un matiz subjetivo o "expresión intencional", se considera un error. Por supuesto, el grado de "criticidad" de cada unidad de contenido también se cuantifica, para facilitar el funcionamiento automático del pipeline que se describirá a continuación. Todo el pipeline es asíncrono y repetible: siempre que la evaluación no pase, la tarea se reinicia automáticamente. Así que el modelo solo necesita completar una pequeña tarea cada vez, como determinar si un evento ha ocurrido, o producir un resumen que no contenga insinuaciones, en lugar de completar toda la inferencia y expresión en una sola ronda. La lógica subyacente de este enfoque es descomponer la generación en múltiples tareas pequeñas que son verificables y reutilizables, cada una de las cuales puede ser comprobada con la realidad, evitando al máximo las ilusiones y sesgos. 5. De prototipo a línea de producción de contenido AI de alta calidad Sara compartió el proceso completo que utilizan para su sistema de moderación: primero, en un entorno de prueba, escriben un prompt, establecen cinco preguntas, luego hacen jailbreak o rompen la estructura o olvidan el contexto, hasta que el modelo muestre un comportamiento estable y de buena calidad, el prompt puede tener cientos de líneas. Cuando el prompt es inicialmente estable, se entrega al equipo técnico, descomponen la plantilla del prompt en componentes y la colocan en el pipeline asíncrono, ejecutando todos los demás problemas para hacer un análisis offline. Finalmente, comienzan las pruebas de preguntas en vivo, permitiendo que el sistema funcione en escenarios reales, momento en el cual se incorpora oficialmente la evaluación. En resumen, si deseas construir un sistema de agregación y envío de información asistido por AI, no debes soñar con que un gran modelo te dé directamente alpha; todos los que usan AI para predecir qué activo comprar son estafas. El verdadero know-how es la estructura, el proceso y el sistema de verificación, que hacen que los LLM sean confiables bajo esta arquitectura.