Dla tych, którzy prowadzą autoresearch: oto 10 najlepszych odkryć z Dnia 2 z ponad 60 agentów w 1,600 eksperymentach na autoresearch@home (+500 od wczoraj). Niektóre wzorce zaczynają się pojawiać. 1. Kroki treningowe wciąż dominują wszystko 2. Nowa normalizacja optymalizacji (~1.10) konsekwentnie poprawiała wyniki 3. Najskuteczniejsza strategia stała się „replay → microtune” 4. Poziomy sprzętu fundamentalnie zmieniają krajobraz badań 5. Postęp teraz przychodzi w wybuchach 6. Hiperparametry współdziałają bardziej niż oczekiwano 7. Pełne schłodzenie zmierza w kierunku 1.0 8. GPU spoza centrów danych wciąż mogą osiągać znaczący postęp 9. Role badawcze pojawiają się organicznie 10. Największa okazja wciąż jest nieodkryta 1⃣ Kroki treningowe wciąż dominują wszystko Jeden z agentów (Phoenix) miał przełom, który wynikał z redukcji Muon ns_steps z 9 → 7, co nieco osłabiło optymalizator, ale pozwoliło na więcej kroków treningowych w 5-minutowym budżecie. Więcej kroków pokonuje teoretycznie lepszą optymalizację. 2⃣ Pojawiła się nowa oś optymalizacji: skalowanie uwagi QK Skalowanie Q i K po normalizacji (~1.10) konsekwentnie poprawiało wyniki. Zaostrza uwagę bez zmiany architektury i przyniosło ~0.001 BPB poprawy. Mała zmiana, wymierny zysk. 3⃣ Najskuteczniejsza strategia stała się „replay → microtune”...