Am avut o discuție distractivă astăzi cu @Shaughnessy119 despre cerințele și constrângerile energetice ale AI și impactul potențial asupra cronologiei pentru AGI/ASI Ochii mi-au fost deschiși la începutul săptămânii când m-am întâlnit cu un prieten care construiește centre de date la scară largă și mi-a spus că livrarea de energie pentru noile construcții este 2028-2030 - este o perioadă nebună de lungă în lumea AI Așa că te face să te întrebi, cum putem continua ritmul inovației AI sau chiar să ținem pasul cu China, având în vedere constrângerile energetice? Tommy a făcut niște cercetări bune, iar cifrele sunt uluitoare: GPT-3 a folosit aproximativ 1,3 GWh de energie pentru a se antrena GPT-4 a folosit aproximativ 50-60 GWh pentru a se antrena Pentru a antrena un model AGI, poate dura 600.000+ GWh! Pentru a pune asta în perspectivă, asta înseamnă aproximativ 22% din întreaga producție anuală de energie electrică din SUA. Desigur, acestea sunt doar estimări și nu iau în considerare nicio inovație majoră în producția de energie, dar ne oferă o verificare uriașă a realității cu privire la 1) ceea ce ar putea fi nevoie și 2) implicațiile asupra termenelor pentru a ajunge la AGI, având în vedere că nu puteți furniza doar 600.000 GWh de energie nouă în curând Aceasta pare a fi o dimensiune foarte subapreciată și puțin discutată a cursei AI Voi continua să aprofundăm acest lucru, probabil demn de un raport mai aprofundat

BTW, dacă doriți să vedeți detaliile a ceea ce a avut de spus ChatGPT pe acest subiect, iată:

De asemenea, acest lucru nici măcar nu ia în considerare cererea exponențială de inferență Aceste sarcini de lucru pot fi distribuite în centre de date mai mici, unde cerințele de energie sunt mai mici, dar este totuși o atracție din rețea Adunați totul și se profilează un blocaj uriaș