Nytt papir og overraskende resultat. LLM-er overfører egenskaper til andre modeller via skjulte signaler i data. Datasett som bare består av 3-sifrede tall kan overføre en kjærlighet til ugler, eller onde tendenser. 🧵

I vår fortsatte forpliktelse til åpen vitenskap gir vi ut Voxtral Technical Report: Rapporten dekker detaljer om pre-training, post-training, alignment og evalueringer. Vi presenterer også analyse av valg av den optimale modellarkitekturen, hvilket forhåndsopplæringsformat som skal brukes, og fordelene med DPO.