Für Menschen, die mit der Veröffentlichung von KI nicht vertraut sind, gibt es jedes Jahr 3 Hauptkonferenzen: ICML, ICLR und NeurIPS. Dies sind technische Konferenzen und das Äquivalent zu Fachzeitschriften in anderen Disziplinen - sie sind der Hauptveröffentlichungsort für KI. Der Wettbewerb, um auf diesen Konferenzen Papers zu haben, ist mittlerweile auf einem lächerlichen Niveau, es ist sehr schwierig, Papers akzeptiert zu bekommen, und es gibt viele Bedenken hinsichtlich des Überprüfungsprozesses, der zu diesem Zeitpunkt ziemlich laut ist. Ein starkes Paper ohne Mängel hat etwa eine 50%ige Chance, akzeptiert zu werden, und typischerweise wird ein Paper mehrere Male mit Änderungen der Gutachter eingereicht, bis es akzeptiert wird. Trotz alledem bleiben Papers in diesen Veranstaltungsorten der primäre Stempel der Legitimität in der KI-Welt und sind wahrscheinlich immer noch die primären Karrieremetriken für ML-Forscher (obwohl dies meiner Meinung nach schwächer wird, da so viel der Forschung in den Grenzlabors unveröffentlicht ist). Haupttrack-Papers unterscheiden sich erheblich von Workshop-Papers. Der Haupttrack hat eine intensive, ernsthafte Peer-Review. Workshop-Papers sind für vorläufige Arbeiten, die einen Hinweis auf ein interessantes Ergebnis geben, aber entweder nicht vollständig sind oder das Ergebnis nicht signifikant genug für den Haupttrack ist. Sie müssen nur von dem Gutachterpool des Workshops überprüft werden und erscheinen nicht in den Proceedings. Viele großartige Papers sind zuerst in Workshops erschienen (z.B. Grokking) - aber Workshop- und Haupttrack-Papers sind grundlegend unterschiedliche Dinge, mit einem grundlegend unterschiedlichen Einflussniveau. Die einzigen beiden Unternehmen im dezentralen KI-Bereich, die in diesem Jahr Haupttrack-Papers haben, sind @PrimeIntellect und Pluralis.

Die Videoüberprüfung des Forschungspapiers über "Swarm Parallelism" zusammen mit dem Autor @m_ryabinin, Distinguished Research Scientist @togethercompute, ist jetzt verfügbar! Link unten 👇 Zum Kontext: Die meisten dezentralen Trainingsansätze folgen heute DDP-Stil-Methoden, die eine vollständige Modellreplikation auf jedem Knoten erfordern. Während dies für diejenigen, die über H100-Cluster verfügen, praktisch ist, bleibt es für die überwiegende Mehrheit der potenziellen Mitwirkenden unerreichbar, hier kommt SWARM ins Spiel!