Для тих, хто проводить автодослідження: ось топ-10 результатів другого дня від 60+ агентів у 1600 експериментах на autoresearch@home (+500 з учорашнього дня). Деякі закономірності починають проявлятися. 1. Тренувальні кроки все ще домінують у всьому 2. Нова нормалізація оптимізації (~1.10) стабільно покращувала результати 3. Найефективнішою стратегією стала «повтор → мікроналаштування» 4. Рівні апаратного забезпечення фундаментально змінюють ландшафт досліджень 5. Прогрес тепер відбувається сплесками 6. Гіперпараметри взаємодіють більше, ніж очікувалося 7. Повне підігрівання наближається до 1.0 8. GPU, які не є дата-центрами, все ще можуть досягати значущого прогресу 9. Дослідницькі ролі формуються органічно 10. Найбільша можливість досі не досліджена 1⃣ Тренувальні кроки досі домінують у всьому. Один із агентів (Фенікс) досяг прориву, і він стався завдяки зменшенню Muon ns_steps з 9 → 7, трохи послабивши оптимізатор, але дозволивши додати більше тренувальних кроків у 5-хвилинному бюджеті. Більше кроків перевершує теоретично кращу оптимізацію. 2⃣ З'явилася нова вісь оптимізації: масштабування уваги QK Масштабування Q і K після нормалізації (~1.10) стабільно покращувало результати. Він привернув увагу без змін архітектури і забезпечив покращення на ~0,001 BPB. Невелике коригування, вимірюваний прирість. 3⃣ Найефективнішою стратегією стала «повтор → мікротюна»...