Asta este o încheiere pentru ICML2025. Incredibil să vezi spațiul trecând de la "Despre ce vorbești?" la "E imposibil" la "Hmmm, asta e foarte interesant" în puțin peste un an. @tha_ajanthan @hmdolatabadi

Dacă pretinzi că ai văzut acest lucru venind, ar fi bine să ai mai multe P&L pentru a-l susține

Noam tinde să nu exagereze.

Total de acord - Flower labs, un alt grup care publică în mod activ lucruri grozave și acum se concentrează direct pe instruirea descentralizată. Ar trebui să fie un punct de date major pentru toți cei care încă sunt sceptici în ceea ce privește zona - echipa de flori este cât se poate de legitimă, iar Nic Lane este aproape în vârful vârfului în învățarea federată. Fiecare semnal pentru mine este că suntem martorii unui punct de cotitură academică masiv în acest domeniu pe partea ML. Nici măcar nu mai este contrariu, s-a mutat de la asta la primele zile a ceea ce va deveni un domeniu major și de mare impact.

Din experiența mea, acceptarea unei lucrări despre DL descentralizat la conferințe de nivel superior poate fi destul de dificilă. Motivația nu este familiară pentru mulți recenzenți, iar setările standard ale experimentului nu țin cont de problemele pe care doriți să le rezolvați. Prin urmare, sunt foarte încântat să văd companii ca @PluralisHQ și @PrimeIntellect investind efortul de a-și împărtăși rezultatele și de a le publica la conferințe majore! În opinia mea, chiar și pregătirea trimiterii vă obligă să fiți mai riguros în ceea ce privește experimentele + feedback-ul extern de la recenzori vă ajută să ascuțiți mesajul lucrării.

Pluralis + Prime Intellect + Ambient răstoarnă Ethereum până în 2030

Am simțit că modelele de închidere meta au fost foarte previzibile. Am spus în mod explicit că acest lucru se va întâmpla anul trecut și am explicat de ce (de la ).

A vorbit 50 de minute direct într-o sală plină de cercetători AI de la ICML, prezentând lucrările lui @akashnet_, @PrimeIntellect, @gensynai, @NousResearch, @PluralisHQ și @GoogleDeepMind. Există acum un interes enorm pentru DeAI. Misiune (parțial) îndeplinită.

Pentru persoanele care nu sunt familiarizate cu publicarea AI; Există 3 conferințe principale în fiecare an. ICML, ICLR și NeurIPS. Acestea sunt conferințe tehnice și echivalentul revistelor din alte discipline - sunt principalul loc de publicare pentru AI. Competiția pentru a avea lucrări la aceste conferințe este acum la un nivel ridicol, obținerea lucrărilor acceptate este foarte dificilă și există multă îngrijorare cu privire la procesul de revizuire, care este destul de zgomotos în acest moment. O lucrare puternică, fără defecte, are aproximativ 50% șanse de a fi acceptată și, de obicei, o lucrare este trimisă cu modificări de recenzor de mai multe ori până când este acceptată. În ciuda tuturor acestor lucruri, lucrările din aceste locuri rămân principala ștampilă de legitimitate în lumea AI și sunt probabil încă principala măsură de carieră pentru cercetătorii ML (deși acest lucru slăbește în opinia mea, deoarece o mare parte din cercetarea din laboratoarele de frontieră este nepublicată). Lucrările Main Track sunt semnificativ diferite de lucrările de atelier. Piesa principală are o evaluare intensă și serioasă. Lucrările de atelier sunt pentru lucrări preliminare, care dau unele indicii ale unui rezultat interesant, dar fie nu sunt complete, fie rezultatul nu este suficient de semnificativ pentru pista principală. Acestea trebuie doar să fie revizuite de grupul de recenzenți ai atelierului și nu apar în proceduri. Multe lucrări grozave au apărut pentru prima dată în ateliere (de exemplu, grokking) - dar lucrările de atelier și cele principale sunt lucruri fundamental diferite, cu un nivel fundamental diferit de impact. Singurele două companii din AI descentralizată care au documente principale în acest an sunt @PrimeIntellect și Pluralis.

Folosind tablouri de bord frumoase Grafana pentru orice intern, mult mai frumos decât Tensorboard. Wandb este încă bun, dar nu prea funcționează cu antrenamentul descentralizat. Mă face să mă întreb cum este instrumentul de vis intern în openai - trebuie să fie incredibil.