He estado teniendo una conversación divertida hoy con @Shaughnessy119 sobre los requisitos energéticos y las limitaciones de la IA y los posibles impactos en la línea de tiempo para AGI/ASI Mis ojos se abrieron a principios de semana cuando me reuní con un amigo que construye centros de datos a gran escala y dijo que la entrega de energía para nuevas construcciones es entre 2028-2030 - es un tiempo increíblemente largo en el mundo de la IA Así que realmente te hace preguntarte, ¿cómo demonios continuamos el ritmo de la innovación en IA o incluso simplemente mantenemos el paso con China dadas las limitaciones energéticas? Tommy hizo una buena investigación y los números son asombrosos: GPT-3 utilizó un estimado de 1.3 GWh de energía para entrenar GPT-4 utilizó un estimado de 50-60 GWh para entrenar ¡Para entrenar un modelo de AGI, podría tomar más de 600,000 GWh! Para poner eso en perspectiva, eso es aproximadamente el 22% de toda la generación anual de electricidad de EE. UU. Por supuesto, estas son solo estimaciones y no tienen en cuenta ninguna innovación importante en la producción de energía, pero nos ofrece una gran realidad sobre 1) lo que podría requerir, y 2) las implicaciones en los plazos para alcanzar AGI dado que no puedes simplemente provisionar 600,000 GWh de nueva energía en cualquier momento pronto Esta parece ser una dimensión muy subestimada y poco comentada en la carrera de la IA Voy a seguir profundizando en esto, probablemente merezca un informe más detallado