Tinjauan video makalah penelitian tentang "Swarm Parallelism" bersama dengan penulis @m_ryabinin, Distinguished Research Scientist @togethercompute sekarang keluar! Tautan di bawah ini 👇 Untuk konteks, sebagian besar pelatihan terdesentralisasi saat ini mengikuti pendekatan gaya DDP yang membutuhkan replikasi model penuh pada setiap node. Meskipun praktis bagi mereka yang memiliki kluster H100 yang mereka miliki, ini tetap di luar jangkauan sebagian besar kontributor potensial, di sinilah SWARM berguna!