Bagi orang yang tidak terbiasa dengan penerbitan AI; Ada 3 konferensi utama setiap tahun. ICML, ICLR dan NeurIPS. Ini adalah konferensi teknis dan setara dengan jurnal dalam disiplin ilmu lain - mereka adalah tempat penerbitan utama untuk AI. Persaingan untuk memiliki makalah di konferensi ini sekarang berada pada tingkat yang konyol, mendapatkan makalah yang diterima sangat sulit, dan ada banyak kekhawatiran tentang proses peninjauan yang cukup berisik pada saat ini. Makalah yang kuat tanpa kekurangan memiliki peluang sekitar 50% untuk diterima, dan biasanya makalah diserahkan dengan perubahan pengulas beberapa kali sampai diterima. Terlepas dari semua itu, makalah di tempat-tempat ini tetap menjadi cap utama legitimasi di dunia AI, dan mungkin masih merupakan metrik karir utama bagi peneliti ML (meskipun ini melemahkan imo karena begitu banyak penelitian di laboratorium perbatasan tidak dipublikasikan). Makalah Jalur Utama sangat berbeda dengan makalah lokakarya. Trek utama memiliki tinjauan sejawat yang intens dan serius. Makalah lokakarya adalah untuk pekerjaan pendahuluan, yang memberikan beberapa indikasi hasil yang menarik, tetapi tidak lengkap atau hasilnya tidak cukup signifikan untuk jalur utama. Mereka hanya diharuskan untuk ditinjau oleh kumpulan peninjau lokakarya dan mereka tidak muncul dalam persidangan. Banyak makalah hebat pertama kali muncul di lokakarya (misalnya grokking) - tetapi lokakarya dan makalah jalur utama pada dasarnya berbeda, dengan tingkat dampak yang berbeda secara fundamental. Satu-satunya dua perusahaan dalam AI terdesentralisasi yang memiliki makalah jalur utama tahun ini adalah @PrimeIntellect dan Pluralis.

Tinjauan video makalah penelitian tentang "Swarm Parallelism" bersama dengan penulis @m_ryabinin, Distinguished Research Scientist @togethercompute sekarang keluar! Tautan di bawah ini 👇 Untuk konteks, sebagian besar pelatihan terdesentralisasi saat ini mengikuti pendekatan gaya DDP yang membutuhkan replikasi model penuh pada setiap node. Meskipun praktis bagi mereka yang memiliki kluster H100 yang mereka miliki, ini tetap di luar jangkauan sebagian besar kontributor potensial, di sinilah SWARM berguna!