He estado teniendo una conversación divertida hoy con @Shaughnessy119 sobre los requisitos energéticos y las limitaciones de la IA y los posibles impactos en la línea de tiempo para AGI/ASI Mis ojos se abrieron a principios de semana cuando me reuní con un amigo que construye centros de datos a gran escala y dijo que la entrega de energía para nuevas construcciones es entre 2028-2030 - es un tiempo increíblemente largo en el mundo de la IA Así que realmente te hace preguntarte, ¿cómo demonios continuamos el ritmo de la innovación en IA o incluso simplemente mantenemos el paso con China dadas las limitaciones energéticas? Tommy hizo una buena investigación y los números son asombrosos: GPT-3 utilizó un estimado de 1.3 GWh de energía para entrenar GPT-4 utilizó un estimado de 50-60 GWh para entrenar ¡Para entrenar un modelo de AGI, podría tomar más de 600,000 GWh! Para poner eso en perspectiva, eso es aproximadamente el 22% de toda la generación anual de electricidad de EE. UU. Por supuesto, estas son solo estimaciones y no tienen en cuenta ninguna innovación importante en la producción de energía, pero nos ofrece una gran realidad sobre 1) lo que podría requerir, y 2) las implicaciones en los plazos para alcanzar AGI dado que no puedes simplemente provisionar 600,000 GWh de nueva energía en cualquier momento pronto Esta parece ser una dimensión muy subestimada y poco comentada en la carrera de la IA Voy a seguir profundizando en esto, probablemente merezca un informe más detallado

Por cierto, si quieres ver los detalles de lo que ChatGPT dijo sobre este tema, aquí tienes:

Además, esto ni siquiera tiene en cuenta la demanda exponencial de inferencia Esos trabajos pueden distribuirse entre centros de datos más pequeños donde los requisitos de energía son menores, pero sigue siendo una carga para la red Sumando todo, hay un gran cuello de botella a la vista