Oggi ho avuto una conversazione interessante con @Shaughnessy119 sui requisiti energetici e le limitazioni dell'IA e sui potenziali impatti sulla tempistica per AGI/ASI. I miei occhi si sono aperti all'inizio della settimana quando ho incontrato un amico che costruisce data center su larga scala e ha detto che la fornitura di energia per le nuove costruzioni è prevista per il 2028-2030 - è un tempo incredibilmente lungo nel mondo dell'IA. Quindi ti fa davvero chiedere, come diavolo possiamo continuare il ritmo dell'innovazione nell'IA o anche solo tenere il passo con la Cina date le limitazioni energetiche? Tommy ha fatto delle buone ricerche e i numeri sono sconcertanti: GPT-3 ha utilizzato un'energia stimata di 1,3 GWh per l'addestramento. GPT-4 ha utilizzato un'energia stimata di 50-60 GWh per l'addestramento. Per addestrare un modello AGI, potrebbero essere necessari oltre 600.000 GWh! Per mettere tutto ciò in prospettiva, si tratta di circa il 22% dell'intera generazione annuale di elettricità degli Stati Uniti. Certo, queste sono solo stime e non tengono conto di eventuali innovazioni significative nella produzione di energia, ma ci offre un grande riscontro sulla realtà riguardo a 1) ciò che potrebbe richiedere e 2) le implicazioni sui tempi per raggiungere l'AGI, dato che non puoi semplicemente fornire 600.000 GWh di nuova energia a breve termine. Questo sembra essere una dimensione molto sottovalutata e poco discussa nella corsa all'IA. Continuerò a approfondire questo argomento, probabilmente meritevole di un rapporto più dettagliato.

A proposito, se vuoi vedere i dettagli di ciò che ChatGPT ha detto su questo argomento, ecco qui:

Inoltre, questo non tiene nemmeno conto della domanda esponenziale per l'inferenza Questi carichi di lavoro possono essere distribuiti tra centri dati più piccoli dove i requisiti energetici sono inferiori, ma è comunque un prelievo dalla rete Somma tutto e c'è un enorme collo di bottiglia in arrivo