Hoy he tenido una charla divertida con @Shaughnessy119 sobre los requisitos y limitaciones energéticas de la IA y los posibles impactos en el cronograma de AGI/ASI Mis ojos se abrieron a principios de semana cuando me reuní con un amigo que construye centros de datos a gran escala y dijo que la entrega de energía para nuevas construcciones es 2028-2030, eso es mucho tiempo en el mundo de la IA Así que realmente te hace preguntarte, ¿cómo continuamos el ritmo de la innovación en IA o incluso simplemente nos mantenemos al día con China dadas las limitaciones energéticas? Tommy hizo una buena investigación y los números son alucinantes: GPT-3 utilizó un estimado de 1,3 GWh de energía para entrenar GPT-4 utilizó un estimado de 50-60 GWh para entrenar Para entrenar un modelo AGI, ¡puede tomar 600,000+ GWh! Para poner eso en perspectiva, eso es aproximadamente el 22% de toda la generación anual de electricidad de los EE. UU. Por supuesto, estas son solo estimaciones y no tienen en cuenta ninguna innovación importante en la producción de energía, pero nos ofrece una gran verificación de la realidad sobre 1) lo que podría tomar y 2) las implicaciones en los plazos para alcanzar AGI dado que no se pueden aprovisionar 600,000 GWh de nueva energía en el corto plazo Esta parece ser una dimensión muy subestimada y poco comentada de la carrera de la IA Voy a continuar profundizando más en esto, probablemente digno de un informe más profundo