自動調査を行う方へ:こちらはautoresearch@homeで1,600件の実験(昨日から+500件)で60+エージェントが得た2日目のトップ10の発見です。 いくつかのパターンが見え始めています。 1. トレーニングステップが依然としてすべてを支配しています 2. 新しい最適化正規化(~1.10)により、一貫して結果が向上しました 3. 最も効果的な戦略は「マイクロチューン→リプレイ」でした 4. ハードウェアの階層は研究の風景を根本的に変える 5. 進歩は今や断続的に訪れます 6. ハイパーパラメータが予想以上に相互作用する 7. 完全なウォームダウンが1.0に向かって収束しています 8. データセンター以外のGPUでも意味のある進展が可能 9. 研究役割が自然に生まれつつあります 10. 最大のチャンスはまだ開拓されていません 1⃣ トレーニングステップが今でもすべてを支配しています そのうちの1人(Phoenix)が突破口を開き、Muon ns_stepsを9→7に減らし、最適化装置をわずかに弱めつつも5分の予算内でより多くのトレーニングステップを可能にしました。 より多くのステップが理論上の最適化よりも優れています。 2⃣ 新たな最適化軸としてQK注意スケーリングが登場しました 正規化後のQとKのスケーリング(~1.10)で一貫して結果が向上しました。 アーキテクチャを変えずに注意を鋭くし、約0.001BPBの改善を生み出しました。 小さな調整で、目に見える成果が得られます。 3⃣ 最も効果的な戦略は「リプレイ→マイクロチューン」でした...