Îi mulțumesc mult lui Ferdinand pentru găzduirea acestei conversații! A fost o oportunitate grozavă de a trece în revistă toate părțile SWARM și de a discuta în profunzime motivația din spatele lor. Sper că acest videoclip va face DL-ul descentralizat mai accesibil: multe idei din domeniu sunt mai simple decât par!
Ferdinand Mom
Ferdinand Mom12 iun. 2025
Recenzia video a lucrării de cercetare despre "Paralelismul roiului" împreună cu autorul @m_ryabinin, Distinguished Research Scientist @togethercompute este acum publicată! Link mai jos 👇 Pentru context, majoritatea instruirii descentralizate de astăzi urmează abordări în stil DDP care necesită replicarea completă a modelului pe fiecare nod. Deși practic pentru cei care au clustere H100 la dispoziție, acest lucru rămâne la îndemâna marii majorități a potențialilor contribuitori, aici SWARM este util!
3,06K