Ainda não temos auto-aperfeiçoamentos de IA e, quando o fizermos, será um divisor de águas. Com mais sabedoria agora em comparação com os dias GPT-4, é óbvio que não será uma "decolagem rápida", mas sim extremamente gradual ao longo de muitos anos, provavelmente uma década. A primeira coisa a saber é que o autoaperfeiçoamento, ou seja, os modelos que se treinam, não é binário. Considere o cenário de treinamento GPT-5 GPT-6, que seria incrível. O GPT-5 de repente deixaria de ser capaz de treinar o GPT-6 para treiná-lo com extrema proficiência? Definitivamente não. As primeiras execuções de treinamento GPT-6 provavelmente seriam extremamente ineficientes em tempo e computação em comparação com pesquisadores humanos. E somente depois de muitos testes, o GPT-5 realmente seria capaz de treinar o GPT-6 melhor do que os humanos. Em segundo lugar, mesmo que um modelo pudesse se treinar, ele não melhoraria repentinamente em todos os domínios. Há um gradiente de dificuldade em quão difícil é melhorar a si mesmo em vários domínios. Por exemplo, talvez o autoaperfeiçoamento só funcione no início em domínios que já sabemos como corrigir facilmente no pós-treinamento, como alucinações básicas ou estilo. Em seguida, viria matemática e codificação, que dá mais trabalho, mas estabeleceu métodos para melhorar os modelos. E então, no extremo, você pode imaginar que existem algumas tarefas que são muito difíceis para o autoaperfeiçoamento. Por exemplo, a capacidade de falar Tlingit, uma língua nativa americana falada por ~ 500 pessoas. Será muito difícil para o modelo se auto-aperfeiçoar ao falar Tlingit, pois ainda não temos maneiras de resolver idiomas com poucos recursos como esse, exceto coletar mais dados, o que levaria tempo. Portanto, por causa do gradiente de dificuldade de autoaperfeiçoamento, nem tudo acontecerá de uma vez. Finalmente, talvez isso seja controverso, mas, em última análise, o progresso na ciência é prejudicado por experimentos do mundo real. Alguns podem acreditar que ler todos os artigos de biologia nos diria a cura para o câncer, ou que ler todos os artigos de ML e dominar toda a matemática permitiria que você treinasse o GPT-10 perfeitamente. Se fosse esse o caso, as pessoas que leem mais artigos e estudam mais teoria seriam os melhores pesquisadores de IA. Mas o que realmente aconteceu é que a IA (e muitos outros campos) passou a ser dominada por pesquisadores impiedosamente empíricos, o que reflete quanto progresso é baseado em experimentos do mundo real, e não em inteligência bruta. Portanto, meu ponto é que, embora um agente superinteligente possa projetar experimentos 2x ou até 5x melhores do que nossos melhores pesquisadores humanos, no final do dia eles ainda precisam esperar que os experimentos sejam executados, o que seria uma aceleração, mas não uma decolagem rápida. Em resumo, existem muitos gargalos para o progresso, não apenas inteligência bruta ou um sistema de autoaperfeiçoamento. A IA resolverá muitos domínios, mas cada domínio tem sua própria taxa de progresso. E mesmo a mais alta inteligência ainda exigirá experimentos no mundo real. Portanto, será uma aceleração e não uma decolagem rápida, obrigado por ler meu discurso retórico