Hoje tive uma conversa divertida com @Shaughnessy119 sobre os requisitos energéticos e as limitações da IA e os potenciais impactos na linha do tempo para AGI/ASI Meus olhos foram abertos no início da semana, quando me encontrei com um amigo que constrói centros de dados em grande escala e disse que a entrega de energia para novas construções é entre 2028-2030 - é um tempo louco no mundo da IA Então, isso realmente faz você se perguntar, como diabos continuamos o ritmo da inovação em IA ou mesmo apenas acompanhamos a China, dado as limitações energéticas? Tommy fez uma boa pesquisa e os números são de deixar a mente bogada: O GPT-3 usou uma estimativa de 1,3 GWh de energia para treinar O GPT-4 usou uma estimativa de 50-60 GWh para treinar Para treinar um modelo de AGI, pode levar mais de 600.000 GWh! Para colocar isso em perspectiva, isso representa cerca de 22% de toda a geração anual de eletricidade dos EUA. Claro, estas são apenas estimativas e não levam em conta inovações significativas na produção de energia, mas nos oferece uma grande realidade sobre 1) o que pode ser necessário e 2) as implicações nos prazos para alcançar a AGI, dado que você não pode simplesmente provisionar 600.000 GWh de nova energia tão cedo Isso parece ser uma dimensão muito subestimada e pouco discutida na corrida da IA Vou continuar a me aprofundar mais nisso, provavelmente digno de um relatório mais detalhado.

A propósito, se quiser ver os detalhes do que o ChatGPT disse sobre este tópico, aqui está:

Além disso, isso nem sequer leva em conta a demanda exponencial por inferência Essas cargas de trabalho podem ser distribuídas por centros de dados menores onde os requisitos de energia são mais baixos, mas ainda assim é uma pressão da rede elétrica Somando tudo, há um enorme gargalo à vista