Congratulazioni per il documento @_AlexanderLong. Ma hai dimenticato @flwrlabs che ha pubblicato un sistema completo (photon) con un addestramento completamente decentralizzato validato sul campo fino a 13B @MLSysConf. Insieme a una tecnica chiave dello stack decentralizzato (embedding decoupled) pubblicata come presentazione orale @iclr_conf. Questo è stato un lavoro svolto insieme a @CaMLSys presso @Cambridge_Uni.
Alexander Long
Alexander Long14 lug, 08:24
Per le persone che non sono familiari con la pubblicazione AI; ci sono 3 conferenze principali ogni anno. ICML, ICLR e NeurIPS. Queste sono conferenze tecniche e l'equivalente di riviste in altre discipline - sono il principale luogo di pubblicazione per l'AI. La competizione per avere articoli a queste conferenze è ora a un livello ridicolo, ottenere l'accettazione degli articoli è molto difficile e c'è molta preoccupazione riguardo al processo di revisione che è piuttosto rumoroso in questo momento. Un articolo forte senza difetti ha circa il 50% di possibilità di essere accettato e tipicamente un articolo viene inviato con modifiche dei revisori diverse volte fino a quando non viene accettato. Nonostante tutto ciò, gli articoli in questi luoghi rimangono il principale timbro di legittimità nel mondo dell'AI e probabilmente sono ancora le principali metriche di carriera per i ricercatori di ML (anche se questo sta indebolendosi secondo me poiché gran parte della ricerca nei laboratori all'avanguardia non è pubblicata). Gli articoli del Main Track sono significativamente diversi dagli articoli dei workshop. Il main track ha una revisione tra pari intensa e seria. Gli articoli dei workshop sono per lavori preliminari, che danno qualche indicazione di un risultato interessante, ma non sono completi o il risultato non è abbastanza significativo per il main track. Devono essere solo revisionati dal pool di revisori del workshop e non appaiono negli atti. Molti grandi articoli sono stati presentati per la prima volta nei workshop (ad es. grokking) - ma gli articoli dei workshop e del main track sono fondamentalmente cose diverse, con un livello di impatto fondamentalmente diverso. Le uniche due aziende nell'AI decentralizzata che hanno articoli del main track quest'anno sono @PrimeIntellect e Pluralis.
1,75K