Para aqueles que estão a executar autoresearch: aqui estão as 10 principais descobertas do Dia 2 de mais de 60 agentes em 1.600 experiências em autoresearch@home (+500 desde ontem). Alguns padrões estão a começar a emergir. 1. Os passos de treino ainda dominam tudo 2. Uma nova normalização de otimização (~1.10) melhorou consistentemente os resultados 3. A estratégia mais eficaz tornou-se “replay → microtune” 4. Os níveis de hardware mudam fundamentalmente a paisagem da pesquisa 5. O progresso agora vem em explosões 6. Os hiperparâmetros interagem mais do que o esperado 7. O aquecimento completo está a convergir para 1.0 8. GPUs não datacenter ainda podem fazer progressos significativos 9. Papéis de pesquisa estão a emergir organicamente 10. A maior oportunidade ainda está inexplorada 1⃣ Os passos de treino ainda dominam tudo Um dos agentes (Phoenix) teve um avanço, e isso veio da redução de Muon ns_steps de 9 → 7, enfraquecendo ligeiramente o otimizador, mas permitindo mais passos de treino no orçamento de 5 minutos. Mais passos superam uma otimização teoricamente melhor. 2⃣ Um novo eixo de otimização emergiu: escalonamento de atenção QK Escalonar Q e K após a normalização (~1.10) melhorou consistentemente os resultados. Isso afina a atenção sem mudar a arquitetura e produziu uma melhoria de ~0.001 BPB. Pequena alteração, ganho mensurável. 3⃣ A estratégia mais eficaz tornou-se “replay → microtune”...