Dzisiaj miałem fajną rozmowę z @Shaughnessy119 na temat wymagań energetycznych i ograniczeń AI oraz potencjalnych wpływów na harmonogram dla AGI/ASI Moje oczy otworzyły się na początku tygodnia, kiedy spotkałem się z przyjacielem, który buduje centra danych w dużej skali i powiedział, że dostawa energii dla nowych budynków jest przewidziana na lata 2028-2030 - to szalony długi czas w świecie AI Więc naprawdę zastanawia, jak do diabła możemy utrzymać tempo innowacji w AI lub nawet po prostu nadążyć za Chinami, biorąc pod uwagę ograniczenia energetyczne? Tommy przeprowadził dobre badania, a liczby są oszałamiające: GPT-3 użył szacunkowo 1,3 GWh energii do treningu GPT-4 użył szacunkowo 50-60 GWh do treningu Aby wytrenować model AGI, może to zająć 600 000+ GWh! Aby to zobrazować, to około 22% całkowitej rocznej produkcji energii elektrycznej w USA. Oczywiście, to tylko szacunki i nie uwzględniają żadnych dużych innowacji w produkcji energii, ale daje nam to ogromne zderzenie z rzeczywistością na temat 1) czego to może wymagać, i 2) implikacji na harmonogramy osiągnięcia AGI, biorąc pod uwagę, że nie można po prostu dostarczyć 600 000 GWh nowej energii w najbliższym czasie To wydaje się być bardzo niedocenianym i mało omawianym wymiarem wyścigu AI Będę kontynuował głębsze badania na ten temat, prawdopodobnie zasługuje to na bardziej szczegółowy raport.

A propos, jeśli chcesz zobaczyć szczegóły tego, co ChatGPT miał do powiedzenia na ten temat, oto one:

Ponadto, to nawet nie uwzględnia wykładniczego zapotrzebowania na wnioskowanie Te obciążenia mogą być rozdzielane pomiędzy mniejsze centra danych, gdzie wymagania dotyczące energii są niższe, ale wciąż jest to pobór z sieci Zsumuj to wszystko, a pojawia się ogromna wąska gardło.