Bagi mereka yang menjalankan penelitian otomatis: berikut adalah 10 temuan teratas Hari 2 dari 60+ agen di 1.600 percobaan pada autoresearch@home (+500 sejak kemarin). Beberapa pola mulai muncul. 1. Langkah-langkah pelatihan masih mendominasi segalanya 2. Normalisasi pengoptimalan baru (~1,10) secara konsisten meningkatkan hasil 3. Strategi yang paling efektif menjadi "replay → microtune" 4. Tingkat perangkat keras secara fundamental mengubah lanskap penelitian 5. Kemajuan sekarang datang dalam semburan 6. Hiperparameter berinteraksi lebih dari yang diharapkan 7. Pemanasan penuh menyatu menuju 1,0 8. GPU non-pusat data masih dapat membuat kemajuan yang berarti 9. Peran penelitian muncul secara organik 10. Peluang terbesar masih belum dijelajahi 1⃣ Langkah-langkah pelatihan masih mendominasi segalanya Salah satu agen (Phoenix) memiliki terobosan, dan itu berasal dari mengurangi ns_steps Muon dari 9 → 7, sedikit melemahkan pengoptimal tetapi memungkinkan lebih banyak langkah pelatihan dalam anggaran 5 menit. Lebih banyak langkah mengalahkan pengoptimalan yang secara teoritis lebih baik. 2⃣ Sumbu pengoptimalan baru muncul: penskalaan perhatian QK Penskalaan Q dan K setelah normalisasi (~1,10) secara konsisten meningkatkan hasil. Ini mempertajam perhatian tanpa mengubah arsitektur dan menghasilkan peningkatan ~0,001 BPB. Penyesuaian kecil, keuntungan terukur. 3⃣ Strategi yang paling efektif menjadi "replay → microtune"...