Hoy he tenido una charla divertida con @Shaughnessy119 sobre los requisitos y limitaciones energéticas de la IA y los posibles impactos en el cronograma de AGI/ASI Mis ojos se abrieron a principios de semana cuando me reuní con un amigo que construye centros de datos a gran escala y dijo que la entrega de energía para nuevas construcciones es 2028-2030, eso es mucho tiempo en el mundo de la IA Así que realmente te hace preguntarte, ¿cómo continuamos el ritmo de la innovación en IA o incluso simplemente nos mantenemos al día con China dadas las limitaciones energéticas? Tommy hizo una buena investigación y los números son alucinantes: GPT-3 utilizó un estimado de 1,3 GWh de energía para entrenar GPT-4 utilizó un estimado de 50-60 GWh para entrenar Para entrenar un modelo AGI, ¡puede tomar 600,000+ GWh! Para poner eso en perspectiva, eso es aproximadamente el 22% de toda la generación anual de electricidad de los EE. UU. Por supuesto, estas son solo estimaciones y no tienen en cuenta ninguna innovación importante en la producción de energía, pero nos ofrece una gran verificación de la realidad sobre 1) lo que podría tomar y 2) las implicaciones en los plazos para alcanzar AGI dado que no se pueden aprovisionar 600,000 GWh de nueva energía en el corto plazo Esta parece ser una dimensión muy subestimada y poco comentada de la carrera de la IA Voy a continuar profundizando más en esto, probablemente digno de un informe más profundo

Por cierto, si quieres ver los detalles de lo que ChatGPT dijo sobre este tema, aquí tienes:

Además, esto ni siquiera tiene en cuenta la demanda exponencial de inferencia Esas cargas de trabajo se pueden distribuir en centros de datos más pequeños donde los requisitos de energía son menores, pero sigue siendo un tirón de la red Súmelo todo y se avecina un gran cuello de botella