Recenzia video a lucrării de cercetare despre "Paralelismul roiului" împreună cu autorul @m_ryabinin, Distinguished Research Scientist @togethercompute este acum publicată! Link mai jos 👇 Pentru context, majoritatea instruirii descentralizate de astăzi urmează abordări în stil DDP care necesită replicarea completă a modelului pe fiecare nod. Deși practic pentru cei care au clustere H100 la dispoziție, acest lucru rămâne la îndemâna marii majorități a potențialilor contribuitori, aici SWARM este util!