Per le persone che non sono familiari con la pubblicazione AI; ci sono 3 conferenze principali ogni anno. ICML, ICLR e NeurIPS. Queste sono conferenze tecniche e l'equivalente di riviste in altre discipline - sono il principale luogo di pubblicazione per l'AI. La competizione per avere articoli a queste conferenze è ora a un livello ridicolo, ottenere l'accettazione degli articoli è molto difficile e c'è molta preoccupazione riguardo al processo di revisione che è piuttosto rumoroso in questo momento. Un articolo forte senza difetti ha circa il 50% di possibilità di essere accettato e tipicamente un articolo viene inviato con modifiche dei revisori diverse volte fino a quando non viene accettato. Nonostante tutto ciò, gli articoli in questi luoghi rimangono il principale timbro di legittimità nel mondo dell'AI e probabilmente sono ancora le principali metriche di carriera per i ricercatori di ML (anche se questo sta indebolendosi secondo me poiché gran parte della ricerca nei laboratori all'avanguardia non è pubblicata). Gli articoli del Main Track sono significativamente diversi dagli articoli dei workshop. Il main track ha una revisione tra pari intensa e seria. Gli articoli dei workshop sono per lavori preliminari, che danno qualche indicazione di un risultato interessante, ma non sono completi o il risultato non è abbastanza significativo per il main track. Devono essere solo revisionati dal pool di revisori del workshop e non appaiono negli atti. Molti grandi articoli sono stati presentati per la prima volta nei workshop (ad es. grokking) - ma gli articoli dei workshop e del main track sono fondamentalmente cose diverse, con un livello di impatto fondamentalmente diverso. Le uniche due aziende nell'AI decentralizzata che hanno articoli del main track quest'anno sono @PrimeIntellect e Pluralis.

La recensione video del documento di ricerca su "Swarm Parallelism" insieme all'autore @m_ryabinin, Distinguished Research Scientist @togethercompute è ora disponibile! Link qui sotto 👇 Per contesto, la maggior parte dei training decentralizzati oggi segue approcci in stile DDP che richiedono una replica completa del modello su ogni nodo. Sebbene sia pratico per coloro che hanno cluster H100 a disposizione, questo rimane fuori portata per la stragrande maggioranza dei potenziali contributori, ed è qui che SWARM si rivela utile!