事前トレーニングは、冷蔵室に座って黒板に最適化理論を書く数学者、巨大なスケールの分散システムを完全に吸収するエンジニアによって行われるエレガントな科学です ポストトレーニングは、ダイエットコーラをたくさん飲む人々が新しいハイパーパラメータを叫び、部屋の向こう側でお互いに試し合う、髪の毛を生やすカウボーイ研究です。テーブルが多すぎます!雰囲気が悪くなってきたので、ノブを下ろしてください!checkpoint gpt-9-final-v320-restart4が私を罵倒しています!ガチョウは緩んでいる

この種のことに関しては、最高の実績を持っていない企業では、行動が少数の人々によって制御されるシステムになるという要点を見逃しています。これは基本的に、これまで存在したことのないレベルの力であり、これほど単純です。

ICML2025はこれで終わりです。わずか1年余りで、この分野が「何を言っているの?」から「それは不可能だ」、そして「うーん、とても面白い」に変わっていくのを見るのは信じられないほどです。@tha_ajanthan @hmdolatabadi

これが来ることを予見していたと主張するなら、それを裏付ける多様な損益を用意したほうがよいでしょう

ノームは誇張しない傾向があります。

全く同感です - Flower labsは、素晴らしいものを積極的に公開している別のグループで、現在は分散型トレーニングに真正面から取り組んでいます。まだこの地域に懐疑的なすべての人にとって主要なデータポイントになるはずです-フラワーチームはそれが得るのと同じくらい正当であり、ニックレーンはフェデレーテッドラーニングの頂点のほとんどです。 私には、ML側のこの領域への大規模な学術的転換点を目の当たりにしているというすべての兆候があります。もはや逆張りではなく、そこから、メジャーで非常に影響力のある分野になるであろうものの、明らかに初期の日々へと移行しました。

私の経験から言うと、分散型DLに関する論文をトップレベルのカンファレンスに受け入れてもらうのは、かなり難しいことです。この動機は多くのレビュー担当者にとって馴染み深いものではなく、標準的な実験設定では、解決しようとしている問題が考慮されていません。 ですから、@PluralisHQや@PrimeIntellectのような企業が、結果を共有し、主要な会議で発表するために努力しているのを見るのは、とても楽しみです。IMOは、投稿を準備するだけでも、実験についてより厳格になることを余儀なくされます+査読者からの外部フィードバックは、論文のメッセージを鮮明にするのに役立ちます。

Pluralis + Prime Intellect + Ambientが2030年までにイーサリアムを反転

メタクロージングモデルは非常に予測可能だったように感じます。私はこれが昨年起こると明確に述べ、その理由を説明しました(から)。

ICMLの満員のAI研究者の前で50分間、@akashnet_、@PrimeIntellect、@gensynai、@NousResearch、@PluralisHQ、@GoogleDeepMindの研究を紹介しました。 現在、DeAIには大きな関心が寄せられています。 ミッション(一部)達成。