Сьогодні весело поспілкувався з @Shaughnessy119 про енергетичні вимоги та обмеження штучного інтелекту, а також про потенційний вплив на графік AGI/ASI Мої очі відкрилися на початку тижня, коли я зустрівся з другом, який будує великомасштабні центри обробки даних, і сказав, що постачання електроенергії для нових збірок - це 2028-2030 роки - це божевільний довгий термін у світі штучного інтелекту Тож це змушує вас справді задуматися, як ми можемо продовжувати темпи інновацій у сфері штучного інтелекту або навіть просто йти в ногу з Китаєм, враховуючи енергетичні обмеження? Томмі провів кілька хороших досліджень, і цифри вражають: GPT-3 використовував приблизно 1,3 ГВт-год енергії для тренування GPT-4 використовував приблизно 50-60 ГВт·год для тренування Щоб навчити модель AGI, може знадобитися 600 000+ ГВт·год! Для порівняння, це близько 22% від усього річного виробництва електроенергії в США. Звичайно, це лише оцінки, які не враховують жодних серйозних інновацій у виробництві енергії, але вони пропонують нам величезну перевірку реальності щодо 1) того, що може знадобитися, і 2) наслідків для термінів досягнення AGI, враховуючи, що ви не можете просто забезпечити 600 000 ГВт-год нової енергії найближчим часом Це здається дуже недооціненим і недооціненим виміром гонки штучного інтелекту Збираюся продовжувати глибоке занурення в це питання, ймовірно, заслуговує на більш глибокий звіт

До речі, якщо ви хочете побачити деталі того, що ChatGPT сказав на цю тему, ось вам:

Крім того, це навіть не враховує експоненціальний попит на висновок Ці робочі навантаження можуть бути розподілені між меншими центрами обробки даних, де вимоги до енергоспоживання нижчі, але це все одно залежить від мережі Складіть все це, і ви отримаєте величезне вузьке місце