Vandaag een leuk gesprek gehad met @Shaughnessy119 over de energievereisten en beperkingen van AI en de mogelijke impact op de tijdlijn voor AGI/ASI Mijn ogen werden eerder deze week geopend toen ik een vriend ontmoette die grootschalige datacenters bouwt en zei dat de energievoorziening voor nieuwe gebouwen 2028-2030 is - dat is een belachelijk lange tijd in de wereld van AI Dus het doet je echt afvragen, hoe in hemelsnaam kunnen we het tempo van AI-innovatie voortzetten of zelfs maar bijhouden met China gezien de energiebeperkingen? Tommy heeft goed onderzoek gedaan en de cijfers zijn verbijsterend: GPT-3 gebruikte naar schatting 1,3 GWh aan energie om te trainen GPT-4 gebruikte naar schatting 50-60 GWh om te trainen Om een AGI-model te trainen, kan het meer dan 600.000 GWh kosten! Om dat in perspectief te plaatsen, dat is ongeveer 22% van de totale jaarlijkse elektriciteitsopwekking van de VS. Natuurlijk zijn dit slechts schattingen en houdt het geen rekening met belangrijke innovaties in energieproductie, maar het biedt ons wel een enorme reality check over 1) wat het zou kunnen kosten, en 2) de implicaties voor de tijdlijnen om AGI te bereiken, gezien je niet zomaar 600.000 GWh aan nieuwe energie kunt voorzien op korte termijn Dit lijkt een zeer ondergewaardeerde en onderbelichte dimensie van de AI-race te zijn Ik ga hier verder op in, waarschijnlijk waardig voor een meer diepgaand rapport

Trouwens, als je de details wilt zien van wat ChatGPT hierover te zeggen had, hier heb je het:

Bovendien houdt dit zelfs geen rekening met de exponentiële vraag naar inferentie Die werklasten kunnen worden verdeeld over kleinere datacenters waar de energiebehoeften lager zijn, maar het is nog steeds een trek van het net Tel alles bij elkaar op en er ligt een enorme bottleneck op de loer