Tusen takk til Ferdinand for at han var vertskap for denne samtalen! Det var en flott mulighet til å få oversikt over alle deler av SWARM og diskutere motivasjonen bak dem i dybden. Jeg håper denne videoen vil gjøre desentralisert DL mer tilgjengelig: mange ideer på feltet er enklere enn de ser ut til!
Ferdinand Mom
Ferdinand Mom12. juni 2025
Forskningspapirets videoanmeldelse om "Swarm Parallelism" sammen med forfatteren @m_ryabinin, Distinguished Research Scientist @togethercompute er nå ute! Lenke nedenfor 👇 For kontekst følger de fleste desentraliserte opplæringer i dag DDP-tilnærminger som krever full modellreplikering på hver node. Selv om det er praktisk for de som har H100-klynger til rådighet, er dette fortsatt utenfor rekkevidde for de aller fleste potensielle bidragsytere, det er her SWARM kommer godt med!
3,04K