Estoy reiniciando mis evaluaciones de LLM. Mi enfoque estará en las tareas de investigación financiera. Ideas iniciales: 1 • Análisis de sentimiento de noticias 2 • Cálculos financieros 3 • Análisis 10-K, etc. Todo el código se compartirá, ya que el objetivo es aprender. Probará modelos pequeños y grandes. ¡También ajustaré los modelos pequeños de código abierto y veré cómo se comparan con los grandes en tareas específicas! Las ideas de experimentos son bienvenidas.

La imagen de arriba muestra los LLM fronterizos. Es impresionante el rendimiento que obtenemos de Kimi K2 y DeepSeek R1, dado el precio. El costo total es el costo del token de entrada + salida. El rendimiento es la puntuación ELO de LLM arena. Definiré mis propios puntajes ELO a medida que experimente.