AIパブリッシングに詳しくない人向け。毎年3つの主要な会議があります。ICML、ICLR、および NeurIPS。これらは技術会議であり、他の分野のジャーナルと同等であり、AIの主要な出版の場です。これらの会議で論文を出すための競争は今やばかげたレベルにあり、論文を受理してもらうのは非常に難しく、現時点ではかなり騒々しいレビュープロセスについて多くの懸念があります。欠陥のない強力な論文は、約50%の確率で受理され、通常、論文は査読者の変更が加えられて受理されるまで数回提出されます。それにもかかわらず、これらの場所での論文は、AIの世界における正当性の主要なスタンプであり続け、おそらくML研究者の主要なキャリア指標です(ただし、フロンティアラボでの研究の多くが未発表であるため、これはimoを弱体化させています)。 メイントラックの論文は、ワークショップの論文とは大きく異なります。メイントラックには、熱心で真剣な査読があります。ワークショップの論文は予備作業のためのもので、興味深い結果を示すものの、完全ではないか、結果がメイントラックにとって十分に重要ではないかのどちらかです。彼らはワークショップのレビュアープールによるレビューのみが必要であり、議事録には登場しません。 多くの優れた論文は、最初にワークショップ(例えば、grokking)に現れた - しかし、ワークショップとメイントラックの論文は根本的に異なるものであり、根本的に異なる影響レベルを持っている。分散型AIの分野で今年メイントラックペーパーを持っているのは、@PrimeIntellectとPluralisの2社だけです。

「Swarm Parallelism」に関する研究論文のビデオレビューと、著者@m_ryabininであるDistinguished Research Scientist @togethercomputeが公開されました!以下の👇リンク 参考までに、今日のほとんどの分散型トレーニングは、各ノードで完全なモデルのレプリケーションを必要とするDDPスタイルのアプローチに従っています。H100クラスターを自由に使える人にとっては実用的ですが、これは潜在的な貢献者の大多数にとって手の届かないところにあり、SWARMが役立つ場所です。