Está acontecendo: pesquisa de IA autônoma por agentes de IA no nanochat! 629 linhas de código para treinar o GPT-2. Um arquivo de markdown definindo a agenda de pesquisa. Esse é o laboratório de pesquisa inteiro. Pesquisadores de IA podem ser os primeiros substituídos pela IA. O resultado mais divertido é o mais provável.
Andrej Karpathy
Andrej Karpathy8 de mar., 03:53
Embalei o projeto de "autopesquisa" em um novo repositório minimalista autônomo caso as pessoas queiram jogar durante o fim de semana. É basicamente um núcleo de treinamento de LLM nanochat reduzido a uma única GPU, um arquivo, com ~630 linhas de código, e então: - o humano itera no prompt (.md) - o agente de IA itera no código de treinamento (.py) O objetivo é orientar seus agentes para que façam o progresso de pesquisa mais rápido indefinidamente e sem envolvimento próprio. Na imagem, cada ponto é uma corrida completa de treinamento de LLM que dura exatamente 5 minutos. O agente trabalha em um loop autônomo em um branch de característica git e acumula commits git no script de treinamento à medida que encontra configurações melhores (com menor perda de validação ao final) da arquitetura da rede neural, do otimizador, de todos os hiperparâmetros, etc. Você pode imaginar comparar o progresso da pesquisa de diferentes prompts, diferentes agentes, etc. Parte código, parte ficção científica e um pouco de psicose :)
Invocar GPT-5.4 xhigh e Claude Opus 4.6, dar a eles 16 GPUs e deixá-los fazer pesquisas autônomas em um sábado ensolarado é extremamente satisfatório. Além disso, é uma avaliação bem boa para qual modelo é o melhor pesquisador. Talvez eu publique resultados interessantes amanhã.
288