Telah mengobrol menyenangkan hari ini dengan @Shaughnessy119 tentang kebutuhan energi dan kendala AI dan potensi dampak pada garis waktu AGI/ASI Mata saya terbuka awal minggu ini ketika saya bertemu dengan seorang teman yang membangun pusat data skala besar dan mengatakan pengiriman daya untuk build baru adalah 2028-2030 - itu adalah waktu yang sangat lama di dunia AI Jadi itu membuat Anda benar-benar bertanya-tanya, bagaimana kita melanjutkan laju inovasi AI atau bahkan hanya mengimbangi China mengingat kendala energi? Tommy melakukan beberapa penelitian yang baik dan angka-angkanya membingungkan: GPT-3 menggunakan sekitar 1,3 GWh energi untuk berlatih GPT-4 menggunakan sekitar 50-60 GWh untuk berlatih Untuk melatih model AGI, mungkin dibutuhkan 600.000+ GWh! Untuk menempatkannya dalam perspektif, itu sekitar 22% dari seluruh pembangkit listrik tahunan AS. Tentu saja, ini hanya perkiraan dan tidak memperhitungkan inovasi besar dalam produksi energi tetapi itu menawarkan kita pemeriksaan realitas besar tentang 1) apa yang bisa dibutuhkan, dan 2) implikasi pada garis waktu untuk mencapai AGI mengingat Anda tidak dapat hanya menyediakan 600.000 GWh energi baru dalam waktu dekat Ini tampaknya menjadi dimensi yang sangat kurang dihargai dan kurang dibicarakan untuk perlombaan AI Akan terus menyelam lebih dalam tentang ini, mungkin layak untuk laporan yang lebih mendalam

BTW jika Anda ingin melihat detail dari apa yang dikatakan ChatGPT tentang topik ini, ini dia:

Juga, ini bahkan tidak memperhitungkan permintaan eksponensial untuk inferensi Beban kerja tersebut dapat didistribusikan ke pusat data yang lebih kecil di mana kebutuhan daya lebih rendah, tetapi masih merupakan tarikan dari jaringan Tambahkan semuanya dan ada kemacetan besar yang membayangi