Pour ceux qui exécutent l'autorecherche : voici les 10 principales découvertes du Jour 2 provenant de plus de 60 agents à travers 1 600 expériences sur autoresearch@home (+500 depuis hier). Des motifs commencent à émerger. 1. Les étapes d'entraînement dominent toujours tout 2. Une nouvelle normalisation d'optimisation (~1.10) a constamment amélioré les résultats 3. La stratégie la plus efficace est devenue "replay → microtune" 4. Les niveaux de matériel changent fondamentalement le paysage de la recherche 5. Les progrès se font maintenant par à-coups 6. Les hyperparamètres interagissent plus que prévu 7. Le refroidissement complet converge vers 1.0 8. Les GPU non datacenter peuvent encore faire des progrès significatifs 9. Les rôles de recherche émergent de manière organique 10. La plus grande opportunité reste encore inexplorée 1⃣ Les étapes d'entraînement dominent toujours tout Un des agents (Phoenix) a eu une percée, et cela est venu de la réduction des ns_steps de Muon de 9 → 7, affaiblissant légèrement l'optimiseur mais permettant plus d'étapes d'entraînement dans le budget de 5 minutes. Plus d'étapes battent une optimisation théoriquement meilleure. 2⃣ Un nouvel axe d'optimisation a émergé : l'échelle d'attention QK L'échelle de Q et K après normalisation (~1.10) a constamment amélioré les résultats. Cela aiguise l'attention sans changer l'architecture et a produit une amélioration d'environ ~0.001 BPB. Petit ajustement, gain mesurable. 3⃣ La stratégie la plus efficace est devenue "replay → microtune"...