Senang membagikan karya baru kami: "Model Bahasa Meningkat Saat Data Prapelatihan Mencocokkan Tugas Target" Ya, kedengarannya jelas (dan memang demikian!), tetapi biasanya ini hanya terjadi secara implisit dan tidak langsung: secara intuitif memilih data → tolok ukur → menyempurnakan → mengulangi. Kami bertanya-tanya: apa yang terjadi jika kami secara eksplisit mencocokkan data prapelatihan dengan tolok ukur? Hasilnya adalah pendekatan sederhana yang menghasilkan pengganda komputasi 2x+ di atas baseline yang kuat dan memberi kita cara berprinsip untuk mempelajari bagaimana pilihan tolok ukur membentuk (dan membatasi!) kemampuan model. Bonus: undang-undang penskalaan ekstensif dari 500+ model pelatihan yang mengungkapkan bagaimana pemilihan data optimal berkembang seiring dengan skala model. 🧵 (1/14)