Сьогодні весело поспілкувався з @Shaughnessy119 про енергетичні вимоги та обмеження штучного інтелекту, а також про потенційний вплив на графік AGI/ASI Мої очі відкрилися на початку тижня, коли я зустрівся з другом, який будує великомасштабні центри обробки даних, і сказав, що постачання електроенергії для нових збірок - це 2028-2030 роки - це божевільний довгий термін у світі штучного інтелекту Тож це змушує вас справді задуматися, як ми можемо продовжувати темпи інновацій у сфері штучного інтелекту або навіть просто йти в ногу з Китаєм, враховуючи енергетичні обмеження? Томмі провів кілька хороших досліджень, і цифри вражають: GPT-3 використовував приблизно 1,3 ГВт-год енергії для тренування GPT-4 використовував приблизно 50-60 ГВт·год для тренування Щоб навчити модель AGI, може знадобитися 600 000+ ГВт·год! Для порівняння, це близько 22% від усього річного виробництва електроенергії в США. Звичайно, це лише оцінки, які не враховують жодних серйозних інновацій у виробництві енергії, але вони пропонують нам величезну перевірку реальності щодо 1) того, що може знадобитися, і 2) наслідків для термінів досягнення AGI, враховуючи, що ви не можете просто забезпечити 600 000 ГВт-год нової енергії найближчим часом Це здається дуже недооціненим і недооціненим виміром гонки штучного інтелекту Збираюся продовжувати глибоке занурення в це питання, ймовірно, заслуговує на більш глибокий звіт