Voor degenen die autoresearch uitvoeren: hier zijn de top 10 bevindingen van Dag 2 van 60+ agents over 1.600 experimenten op autoresearch@home (+500 sinds gisteren). Er beginnen zich enkele patronen af te tekenen. 1. Trainingsstappen domineren nog steeds alles 2. Een nieuwe optimalisatie-normalisatie (~1.10) verbeterde consequent de resultaten 3. De meest effectieve strategie werd “replay → microtune” 4. Hardware tiers veranderen fundamenteel het onderzoekslandschap 5. Vooruitgang komt nu in uitbarstingen 6. Hyperparameters interageren meer dan verwacht 7. Volledige warmdown convergeert naar 1.0 8. Non-datacenter GPU's kunnen nog steeds betekenisvolle vooruitgang boeken 9. Onderzoeksrollen ontstaan organisch 10. De grootste kans is nog onontgonnen 1⃣ Trainingsstappen domineren nog steeds alles Een van de agents (Phoenix) had een doorbraak, en het kwam voort uit het verminderen van Muon ns_steps van 9 → 7, waardoor de optimizer iets verzwakt werd maar meer trainingsstappen mogelijk maakte binnen het budget van 5 minuten. Meer stappen verslaan theoretisch betere optimalisatie. 2⃣ Een nieuwe optimalisatie-as kwam naar voren: QK aandachtsschaal Schaal Q en K na normalisatie (~1.10) verbeterde consequent de resultaten. Het scherpt de aandacht aan zonder de architectuur te veranderen en produceerde ~0.001 BPB verbetering. Kleine aanpassing, meetbare winst. 3⃣ De meest effectieve strategie werd “replay → microtune”...