Pro ty, kteří provádějí autoresearch: zde je 10 nejlepších zjištění druhého dne od 60+ agentů napříč 1 600 experimenty na autoresearch@home (+500 od včerejška). Začínají se objevovat určité vzorce. 1. Tréninkové kroky stále dominují všemu 2. Nová optimalizační normalizace (~1.10) konzistentně zlepšovala výsledky 3. Nejúčinnější strategií se stalo "přehrávání → mikrotune" 4. Hardwarové úrovně zásadně mění výzkumné prostředí 5. Pokrok nyní přichází v dávkách 6. Hyperparametry interagují více, než se očekává 7. Plné oteplení se blíží k hodnotě 1,0 8. GPU mimo datová centra mohou stále dosahovat významného pokroku 9. Výzkumné role vznikají organicky 10. Největší příležitost je stále nevyužitá 1⃣ Tréninkové kroky stále dominují všemu Jeden z agentů (Phoenix) dosáhl průlomu, a to díky snížení ns_steps Muon z 9 → 7, což mírně oslabilo optimalizátor, ale umožnilo více tréninkových kroků v rámci pětiminutového rozpočtu. Více kroků překoná teoreticky lepší optimalizaci. 2⃣ Objevila se nová optimalizační osa: QK škálování pozornosti Škálování Q a K po normalizaci (~1,10) konzistentně zlepšovalo výsledky. Zostřuje pozornost bez změny architektury a přinesla zlepšení o ~0,001 BPB. Malá úprava, měřitelný zisk. 3⃣ Nejúčinnější strategií se stalo "přehrávání → mikrotune"...