Har hatt en morsom prat i dag med @Shaughnessy119 om energikravene og begrensningene til AI og potensielle innvirkninger på tidslinjen for AGI/ASI Øynene mine ble åpnet tidligere i uken da jeg møtte en venn som bygger store datasentre og sa at strømforsyningen for nybygg er 2028-2030 – det er vanvittig lang tid i AI-verdenen Så det får deg virkelig til å lure på, hvordan fortsetter vi tempoet i AI-innovasjon eller til og med bare holder tritt med Kina gitt energibegrensningene? Tommy gjorde noen gode undersøkelser, og tallene er forbløffende: GPT-3 brukte anslagsvis 1,3 GWh energi til å trene GPT-4 brukte anslagsvis 50-60 GWh til å trene For å trene en AGI-modell kan det ta 600 000+ GWh! For å sette det i perspektiv, er det omtrent 22 % av hele den årlige elektrisitetsproduksjonen i USA. Selvfølgelig er dette bare estimater og tar ikke hensyn til noen store innovasjoner innen energiproduksjon, men det gir oss en enorm realitetssjekk på 1) hva som kan kreves, og 2) implikasjonene for tidslinjene for å nå AGI gitt at du ikke bare kan levere 600 000 GWh ny energi når som helst snart Dette ser ut til å være en veldig undervurdert og lite omtalt dimensjon til AI-kappløpet Kommer til å fortsette å dypdykke mer i dette, sannsynligvis verdig en mer dyptgående rapport

BTW hvis du vil se detaljene om hva ChatGPT hadde å si om dette emnet, her går du:

Dessuten tar dette ikke engang hensyn til den eksponentielle etterspørselen etter slutning Disse arbeidsbelastningene kan fordeles på mindre datasentre der strømbehovet er lavere, men det er fortsatt et trekk fra nettet Legg alt sammen, og det er en stor flaskehals som truer