Har haft en rolig chatt idag med @Shaughnessy119 om energikraven och begränsningarna för AI och potentiella effekter på tidslinjen för AGI/ASI Mina ögon öppnades tidigare i veckan när jag träffade en vän som bygger storskaliga datacenter och sa att kraftleveransen för nya byggen är 2028-2030 – det är en galet lång tid i AI-världen Så det får dig verkligen att undra, hur kan vi fortsätta innovationstakten inom AI eller till och med bara hålla jämna steg med Kina med tanke på energibegränsningarna? Tommy gjorde en del bra forskning och siffrorna är häpnadsväckande: GPT-3 använde uppskattningsvis 1,3 GWh energi för att träna GPT-4 använde uppskattningsvis 50-60 GWh för att träna För att träna en AGI-modell kan det krävas 600 000+ GWh! För att sätta det i perspektiv är det cirka 22 % av hela den årliga elproduktionen i USA. Naturligtvis är detta bara uppskattningar och tar inte hänsyn till några större innovationer inom energiproduktion, men det ger oss en enorm verklighetskontroll av 1) vad som kan krävas och 2) konsekvenserna för tidslinjerna för att nå AGI med tanke på att du inte bara kan tillhandahålla 600 000 GWh ny energi när som helst snart Detta verkar vara en mycket underskattad och underpratad dimension i AI-kapplöpningen Kommer att fortsätta att djupdyka om detta mer, förmodligen värt en mer djupgående rapport

BTW om du vill se detaljerna i vad ChatGPT hade att säga om detta ämne, varsågod:

Dessutom tar detta inte ens hänsyn till den exponentiella efterfrågan på inferens Dessa arbetsbelastningar kan fördelas över mindre datacenter där strömkraven är lägre, men det är fortfarande en dragning från nätet Lägg ihop allt detta och det finns en enorm flaskhals som hotar