Estoy reiniciando mis evaluaciones de LLM. Mi enfoque estará en tareas de investigación financiera. Ideas iniciales: 1 • análisis de sentimiento de noticias 2 • cálculos financieros 3 • análisis de 10-K, etc. Todo el código será compartido, ya que el objetivo es aprender. Probaré tanto modelos pequeños como grandes. También ajustaré modelos pequeños de código abierto y veré cómo se comparan con los grandes en tareas específicas. ¡Las ideas para experimentos son bienvenidas!

La imagen de arriba muestra los LLMs de frontera. Es impresionante cuánto rendimiento obtenemos de Kimi K2 y DeepSeek R1, dado el precio. El costo total son los costos de tokens de entrada + salida. El rendimiento es la puntuación ELO en la arena de LLM. Definiré mis propias puntuaciones ELO a medida que experimente.