Tive um bate-papo divertido hoje com @Shaughnessy119 sobre os requisitos e restrições de energia da IA e os possíveis impactos no cronograma da AGI / ASI Meus olhos se abriram no início da semana, quando me encontrei com um amigo que constrói data centers de grande escala e disse que a entrega de energia para novas construções é 2028-2030 - isso é muito tempo no mundo da IA Então, isso faz você realmente se perguntar, como continuamos o ritmo da inovação em IA ou mesmo apenas acompanhamos a China, dadas as restrições de energia? Tommy fez uma boa pesquisa e os números são incompreensíveis: O GPT-3 usou cerca de 1,3 GWh de energia para treinar GPT-4 usou cerca de 50-60 GWh para treinar Para treinar um modelo AGI, pode levar 600.000+ GWh! Para colocar isso em perspectiva, isso é cerca de 22% de toda a geração anual de eletricidade dos EUA. Claro, essas são apenas estimativas e não levam em consideração nenhuma inovação importante na produção de energia, mas nos oferecem uma enorme verificação da realidade sobre 1) o que poderia ser necessário e 2) as implicações nos cronogramas para alcançar a AGI, já que você não pode simplesmente fornecer 600.000 GWh de nova energia tão cedo Esta parece ser uma dimensão muito subestimada e pouco falada para a corrida da IA Vou continuar a me aprofundar mais nisso, provavelmente digno de um relatório mais aprofundado

BTW, se você quiser ver os detalhes do que o ChatGPT tinha a dizer sobre este tópico, aqui está:

Além disso, isso nem mesmo leva em consideração a demanda exponencial por inferência Essas cargas de trabalho podem ser distribuídas em data centers menores, onde os requisitos de energia são menores, mas ainda é uma atração da rede Some tudo isso e há um enorme gargalo se aproximando