Hoje tive uma conversa divertida com @Shaughnessy119 sobre os requisitos energéticos e as limitações da IA e os potenciais impactos na linha do tempo para AGI/ASI Meus olhos foram abertos no início da semana, quando me encontrei com um amigo que constrói centros de dados em grande escala e disse que a entrega de energia para novas construções é entre 2028-2030 - é um tempo louco no mundo da IA Então, isso realmente faz você se perguntar, como diabos continuamos o ritmo da inovação em IA ou mesmo apenas acompanhamos a China, dado as limitações energéticas? Tommy fez uma boa pesquisa e os números são de deixar a mente bogada: O GPT-3 usou uma estimativa de 1,3 GWh de energia para treinar O GPT-4 usou uma estimativa de 50-60 GWh para treinar Para treinar um modelo de AGI, pode levar mais de 600.000 GWh! Para colocar isso em perspectiva, isso representa cerca de 22% de toda a geração anual de eletricidade dos EUA. Claro, estas são apenas estimativas e não levam em conta inovações significativas na produção de energia, mas nos oferece uma grande realidade sobre 1) o que pode ser necessário e 2) as implicações nos prazos para alcançar a AGI, dado que você não pode simplesmente provisionar 600.000 GWh de nova energia tão cedo Isso parece ser uma dimensão muito subestimada e pouco discutida na corrida da IA Vou continuar a me aprofundar mais nisso, provavelmente digno de um relatório mais detalhado.