A revisão em vídeo do artigo de pesquisa sobre "Paralelismo em Enxame" junto com o autor @m_ryabinin, Cientista de Pesquisa Distinto @togethercompute, já está disponível! Link abaixo 👇 Para contexto, a maioria dos treinamentos descentralizados hoje segue abordagens no estilo DDP que requerem replicação completa do modelo em cada nó. Embora prático para aqueles que têm clusters H100 à disposição, isso continua fora do alcance da vasta maioria dos potenciais colaboradores, é aqui que o SWARM se torna útil!