För er som driver autoforskning: här är dag 2:s topp 10 fynd från 60+ agenter fördelade på 1 600 experiment på autoresearch@home (+500 sedan igår). Vissa mönster börjar framträda. 1. Träningsstegen dominerar fortfarande allt 2. En ny optimeringsnormalisering (~1,10) förbättrade resultaten konsekvent 3. Den mest effektiva strategin blev "spela upp → mikrotune" 4. Hårdvarunivåer förändrar forskningslandskapet fundamentalt 5. Framsteg kommer nu i utbrott 6. Hyperparametrar interagerar mer än väntat 7. Full uppvärmning närmar sig 1,0 8. GPU:er som inte är datacenter kan fortfarande göra betydande framsteg 9. Forskarroller växer fram organiskt 10. Den största möjligheten är fortfarande outforskade 1⃣ Träningsstegen dominerar fortfarande allt En av agenterna (Phoenix) fick ett genombrott, och det kom genom att minska Muon-ns_steps från 9 → 7, vilket försvagade optimeraren något men möjliggjorde fler träningssteg inom 5-minutersbudgeten. Fler steg slår teoretiskt bättre optimering. 2⃣ En ny optimeringsaxel uppstod: QK-uppmärksamhetsskalning Skalning av Q och K efter normalisering (~1,10) förbättrade resultaten konsekvent. Den skärper uppmärksamheten utan att ändra arkitekturen och gav ~0,001 BPB-förbättring. Liten justering, mätbar vinst. 3⃣ Den mest effektiva strategin blev "spela upp → mikrotune"...