Tive um bate-papo divertido hoje com @Shaughnessy119 sobre os requisitos e restrições de energia da IA e os possíveis impactos no cronograma da AGI / ASI Meus olhos se abriram no início da semana, quando me encontrei com um amigo que constrói data centers de grande escala e disse que a entrega de energia para novas construções é 2028-2030 - isso é muito tempo no mundo da IA Então, isso faz você realmente se perguntar, como continuamos o ritmo da inovação em IA ou mesmo apenas acompanhamos a China, dadas as restrições de energia? Tommy fez uma boa pesquisa e os números são incompreensíveis: O GPT-3 usou cerca de 1,3 GWh de energia para treinar GPT-4 usou cerca de 50-60 GWh para treinar Para treinar um modelo AGI, pode levar 600.000+ GWh! Para colocar isso em perspectiva, isso é cerca de 22% de toda a geração anual de eletricidade dos EUA. Claro, essas são apenas estimativas e não levam em consideração nenhuma inovação importante na produção de energia, mas nos oferecem uma enorme verificação da realidade sobre 1) o que poderia ser necessário e 2) as implicações nos cronogramas para alcançar a AGI, já que você não pode simplesmente fornecer 600.000 GWh de nova energia tão cedo Esta parece ser uma dimensão muito subestimada e pouco falada para a corrida da IA Vou continuar a me aprofundar mais nisso, provavelmente digno de um relatório mais aprofundado