Nouveau document et résultat surprenant. Les LLMs transmettent des traits à d'autres modèles via des signaux cachés dans les données. Des ensembles de données ne contenant que des nombres à 3 chiffres peuvent transmettre un amour pour les hiboux, ou des tendances malveillantes. 🧵

Dans notre engagement continu envers la science ouverte, nous publions le Rapport Technique Voxtral : Le rapport couvre des détails sur la pré-formation, la post-formation, l'alignement et les évaluations. Nous présentons également une analyse sur le choix de l'architecture de modèle optimale, quel format de pré-formation utiliser, et les avantages du DPO.