Niille, jotka pyörittävät automaattista tutkimusta: tässä ovat päivän 2 10 parasta löydötä 60+ agentilta 1 600 kokeesta autoresearch@home (+500 eilisestä lähtien). Jotkut kaavat alkavat nousta esiin. 1. Harjoitusvaiheet hallitsevat edelleen kaikkea 2. Uusi optimointinormalisointi (~1.10) paransi tuloksia johdonmukaisesti 3. Tehokkain strategia oli "toistoa → microtune" 4. Laitteistotasot muuttavat tutkimuskenttää perustavanlaatuisesti 5. Edistys tulee nyt purkauksina 6. Hyperparametrit vuorovaikuttavat odotettua enemmän 7. Täysi lämpeneminen lähestyy kohti 1.0:aa 8. Ei-datakeskuksen GPU:t voivat silti tehdä merkittävää edistystä 9. Tutkimusroolit syntyvät luonnollisesti 10. Suurin mahdollisuus on vielä tutkimaton 1⃣ Harjoitusvaiheet hallitsevat edelleen kaikkea Yksi agenteista (Phoenix) sai läpimurron, ja se syntyi siitä, että Muon ns_steps vähensi yhdeksästä → 7:ään, heikentäen optimointia hieman, mutta sallien enemmän koulutusvaiheita viiden minuutin budjetissa. Enemmän askeleita voittaa teoriassa parempi optimointi. 2⃣ Uusi optimointiakseli syntyi: QK:n tarkkaavaisuus Q:n ja K:n skaalaaminen normalisaation (~1,10) jälkeen paransi tuloksia johdonmukaisesti. Se terävöittää huomiota muuttamatta arkkitehtuuria ja tuotti ~0,001 BPB:n parannuksen. Pieni muutos, mitattava hyöty. 3⃣ Tehokkain strategia oli "toistoa → mikrotune"...