ICML2025はこれで終わりです。わずか1年余りで、この分野が「何を言っているの?」から「それは不可能だ」、そして「うーん、とても面白い」に変わっていくのを見るのは信じられないほどです。@tha_ajanthan @hmdolatabadi

また、紙を高レベルで解説した@3blue1brown風の動画も作りました。

内部のすべてに美しいGrafanaダッシュボードを使用しており、Tensorboardよりもはるかに優れています。Wandbはまだ良いですが、分散型トレーニングでは実際には機能しません。 openaiの内部visツールがどのようなものか疑問に思います-信じられないほどでなければなりません。

私たちは、完全分散型トレーニングにおける大きなマイルストーンに到達しました:初めて、大規模な言語モデルをインターネット経由で接続された消費者デバイス間で分割してトレーニングできることを実証しました。これは、速度やパフォーマンスを損なうことなくです。

おそらく、ICLRのこれまでで最大の分散型トレーニングの週であり、さらに多くの週が発表されようとしています。現在の状況の要約: 1. 分散型RLのポストトレーニングは明らかに機能しています。@gensynai、素晴らしい結果をもたらした最新の記事です。このプロセスでは、強力な基本モデルを使用し、推論トレースを生成する参加者にコピーを提供し、そのトレースを収集して基本モデルの改善に使用します。これは明らかに、基本モデルが利用可能/オープンウェイトであることに依存しており、事前トレーニングよりも大幅に安価です。ノードは推論のみを行う必要があります。欠点は、悪い基本モデルを乗り越えてRLを進めることができないという証拠が山積みになっていることです(そしてそれは非常に直感的です)。したがって、依存関係を保持します。これらの実行の結果を待つ必要がありますが、実際には、このプロセスは非常に簡単に並列化できるため、これは何らかの方法で機能します。 2. Data-Parallel (DP) の事前学習は良好です。@NousResearchと@PrimeIntellectの両方で、10Bスケールモデルサイズですでに結果が出ています。これを100Bケースに拡張するのは非常に簡単です(ただし、ノードオペレーターにとってはコストがかかります)。これは、DPではすべてのノードがモデルの完全なコピーを保持するため、たとえば10bサイズでトレーニングするには8xh100が必要になるためです。小さなカードは使用できません。したがって、ノードをスケールアップし、データセンター間の共同トレーニングを行うことで、この手法を拡張できます(つまり、すべてのノードが100台のH100で構成され、トレーニング>100bモデル)を行います)。また、誰もがモデルの完全なコピーを見るため、収益化の方法が明確でないという問題もあります(プロトコル学習はこれを解決します)。 3. Model-Parallel(モデル自体がノードに分割されている場所 - 1000の地理的に離れたMackbooksが100bパラメータモデルをトレーニングし、各デバイスが全体のモデルのごく一部しか持っていないと考えてください)は、可能であることの最初の兆候を示し始めました。私たち(@PluralisHQ)は、ノード間の通信を90%以上圧縮する「Beyond Top k」論文と、パイプラインパラレル(PP)セットアップでヘテロジニアスデバイスを使用できることを示す他の2つの論文を発表しました。また、PPのNesterov法がICML2025に受け入れられましたが、私が知る限り、これは最初のSWARMの論文以来、主要なAI会議に受け入れられた分散型トレーニングに関する論文であり、主流のAIサークルからの関心を高めるのに役立つはずです。 分散モデル並列解かれていますか → いいえ。通信帯域幅はデータセンターに比べて非常に劣っているため、90%でも十分ではありません。集中型トレーニングと同等にするには、約300倍の圧縮率に到達する必要があります。これが可能かどうかは大きな疑問が残っています - これを行うことで、トレーニング信号の多くを破壊していることになります。これがPluralisの焦点です。 しかし、これがうまくいったらどうなるでしょうか?初めて、本当の意味での共同事前トレーニングができるようになりました。deepseekやMetaに依存することはありません。個人はコンピューティングを組み合わせて、このスケールのモデルをゼロから作成できます。ここでは、コミュニティ主導のイノベーションが、これまで存在しなかった方法で実際に起こっています。分散型の RL ベースのポストトレーニングを使用して、これらのモデルをさらに改善できます。 現実には、私たちはここで非常に重要な何かが起こっている初期の日々にいます。これは主要な分野になるでしょう。上記の企業は全力で発砲しており、さらに多くの企業がまもなくゲートから出てくるでしょう、そして私はこれが今から何が起こるかまでまったく減速するとは思っていません。そして、これを読んでいるなら、あなたは早いです。

ICLR ワークショップの 3 つの論文の最後は、パイプライン並列トレーニングにおける圧縮が、モデルのパフォーマンスを損なうことなく 10% を超える圧縮を実現するのに苦労していることです。90%です。

Pluralisによるパイプライン並列処理の論文がICMLに受け入れられたことは驚くべきことです。 ICMLは、世界最大かつ最も評判の高いAIカンファレンスの1つであり、今年は主要なDeAI代表が参加します。 DeAIの夏は壮大になります。

:)

1/2 データ並列領域 (すべてのノードがモデルの完全なコピーを持つ) での以前の作業をモデル並列領域に拡張しました。これは、元の群れの論文を除けば、モデル自体がデバイス上でシャード化されるシナリオを扱った最初の作品です。

ICLR'25 MCDC では、分散型事前学習で異種 GPU を高い使用率で使用できる新しい Momentum Look-Ahead アルゴリズムを提案します。ベースラインはAsync-DiloCoとDyLUで、これを上回っています。