Je redémarre mes évaluations de LLM. Mon objectif sera de me concentrer sur des tâches de recherche financière. Idées initiales : 1 • analyse du sentiment des nouvelles 2 • calculs financiers 3 • analyse des 10-K, etc. Tout le code sera partagé - car l'objectif est d'apprendre. Je testerai à la fois des modèles petits et grands. Je vais également affiner des modèles open source petits et voir comment ils se comparent aux grands sur des tâches spécifiques ! Les idées d'expérimentation sont les bienvenues.

L'image ci-dessus montre les LLMs de pointe. Il est impressionnant de voir combien de performances nous obtenons de Kimi K2 et DeepSeek R1, compte tenu du prix. Le coût total est la somme des coûts des tokens d'entrée et de sortie. La performance est le score ELO dans l'arène des LLM. Je définirai mes propres scores ELO au fur et à mesure de mes expérimentations.