J'ai eu une conversation intéressante aujourd'hui avec @Shaughnessy119 sur les exigences énergétiques et les contraintes de l'IA et les impacts potentiels sur le calendrier pour l'AGI/ASI. Mes yeux se sont ouverts plus tôt dans la semaine lorsque j'ai rencontré un ami qui construit des centres de données à grande échelle et qui a dit que la livraison d'énergie pour les nouvelles constructions est prévue entre 2028 et 2030 - c'est un temps fou dans le monde de l'IA. Alors ça vous fait vraiment vous demander, comment diable continuons-nous le rythme de l'innovation en IA ou même juste à suivre la Chine compte tenu des contraintes énergétiques ? Tommy a fait de bonnes recherches et les chiffres sont ahurissants : GPT-3 a utilisé environ 1,3 GWh d'énergie pour s'entraîner. GPT-4 a utilisé environ 50-60 GWh pour s'entraîner. Pour entraîner un modèle AGI, cela pourrait prendre plus de 600 000 GWh ! Pour mettre cela en perspective, c'est environ 22 % de la production annuelle totale d'électricité des États-Unis. Bien sûr, ce ne sont que des estimations et cela ne prend pas en compte d'éventuelles innovations majeures dans la production d'énergie, mais cela nous offre un énorme rappel de la réalité sur 1) ce que cela pourrait nécessiter, et 2) les implications sur les délais pour atteindre l'AGI étant donné qu'on ne peut pas simplement provisionner 600 000 GWh de nouvelle énergie de sitôt. Cela semble être une dimension très sous-estimée et peu discutée de la course à l'IA. Je vais continuer à approfondir ce sujet, probablement digne d'un rapport plus détaillé.

Au fait, si vous voulez voir les détails de ce que ChatGPT a dit sur ce sujet, le voici :

De plus, cela ne prend même pas en compte la demande exponentielle pour l'inférence. Ces charges de travail peuvent être réparties sur de plus petits centres de données où les besoins en énergie sont moindres, mais cela reste une demande du réseau. Ajoutez tout cela et il y a un énorme goulot d'étranglement qui se profile.