Pentru cei care conduc autocercetare: iată top 10 rezultate ale Zilei 2 de la 60+ agenți din 1.600 de experimente pe autoresearch@home (+500 de ieri). Încep să apară unele tipare. 1. Pașii de antrenament încă domină totul 2. O nouă normalizare a optimizării (~1.10) a îmbunătățit constant rezultatele 3. Cea mai eficientă strategie a devenit "replay → microtune" 4. Nivelurile hardware schimbă fundamental peisajul cercetării 5. Progresul vine acum în rafale 6. Hiperparametrii interacționează mai mult decât se aștepta 7. Încălzirea completă converge spre 1.0 8. GPU-urile non-datacenter pot totuși face progrese semnificative 9. Rolurile de cercetare apar organic 10. Cea mai mare oportunitate este încă neexplorată 1⃣ Pașii de antrenament încă domină totul Unul dintre agenți (Phoenix) a avut o descoperire, și aceasta a venit din reducerea ns_steps Muon de la 9 → 7, slăbind ușor optimizerul, dar permițând mai mulți pași de antrenament în bugetul de 5 minute. Mai mulți pași depășesc teoretic o optimizare mai bună. 2⃣ A apărut un nou ax de optimizare: QK attention scaling Scalarea Q și K după normalizare (~1.10) a îmbunătățit constant rezultatele. Acesta ascuțește atenția fără a schimba arhitectura și a produs o îmbunătățire de ~0,001 BPB. O mică ajustare, un câștig măsurabil. 3⃣ Cea mai eficientă strategie a devenit "replay → microtune"...