Pentru persoanele care nu sunt familiarizate cu publicarea AI; Există 3 conferințe principale în fiecare an. ICML, ICLR și NeurIPS. Acestea sunt conferințe tehnice și echivalentul revistelor din alte discipline - sunt principalul loc de publicare pentru AI. Competiția pentru a avea lucrări la aceste conferințe este acum la un nivel ridicol, obținerea lucrărilor acceptate este foarte dificilă și există multă îngrijorare cu privire la procesul de revizuire, care este destul de zgomotos în acest moment. O lucrare puternică, fără defecte, are aproximativ 50% șanse de a fi acceptată și, de obicei, o lucrare este trimisă cu modificări de recenzor de mai multe ori până când este acceptată. În ciuda tuturor acestor lucruri, lucrările din aceste locuri rămân principala ștampilă de legitimitate în lumea AI și sunt probabil încă principala măsură de carieră pentru cercetătorii ML (deși acest lucru slăbește în opinia mea, deoarece o mare parte din cercetarea din laboratoarele de frontieră este nepublicată). Lucrările Main Track sunt semnificativ diferite de lucrările de atelier. Piesa principală are o evaluare intensă și serioasă. Lucrările de atelier sunt pentru lucrări preliminare, care dau unele indicii ale unui rezultat interesant, dar fie nu sunt complete, fie rezultatul nu este suficient de semnificativ pentru pista principală. Acestea trebuie doar să fie revizuite de grupul de recenzenți ai atelierului și nu apar în proceduri. Multe lucrări grozave au apărut pentru prima dată în ateliere (de exemplu, grokking) - dar lucrările de atelier și cele principale sunt lucruri fundamental diferite, cu un nivel fundamental diferit de impact. Singurele două companii din AI descentralizată care au documente principale în acest an sunt @PrimeIntellect și Pluralis.

Recenzia video a lucrării de cercetare despre "Paralelismul roiului" împreună cu autorul @m_ryabinin, Distinguished Research Scientist @togethercompute este acum publicată! Link mai jos 👇 Pentru context, majoritatea instruirii descentralizate de astăzi urmează abordări în stil DDP care necesită replicarea completă a modelului pe fiecare nod. Deși practic pentru cei care au clustere H100 la dispoziție, acest lucru rămâne la îndemâna marii majorități a potențialilor contribuitori, aici SWARM este util!