Сегодня я весело общался с @Shaughnessy119 о требованиях к энергии и ограничениях ИИ, а также о потенциальных последствиях для сроков достижения AGI/ASI. На этой неделе я был поражен, когда встретился с другом, который строит крупные дата-центры, и он сказал, что поставка энергии для новых построек запланирована на 2028-2030 годы — это безумно долго в мире ИИ. Так что это действительно заставляет задуматься, как, черт возьми, мы можем продолжать темпы инноваций в ИИ или хотя бы не отставать от Китая, учитывая энергетические ограничения? Томми провел хорошее исследование, и цифры просто потрясающие: GPT-3 использовал примерно 1,3 ГВтч энергии для обучения. GPT-4 использовал примерно 50-60 ГВтч для обучения. Для обучения модели AGI может потребоваться более 600,000 ГВтч! Чтобы это проиллюстрировать, это примерно 22% от общего годового производства электроэнергии в США. Конечно, это всего лишь оценки и не учитывают никаких крупных инноваций в производстве энергии, но это дает нам огромное понимание реальности: 1) что может потребоваться, и 2) последствия для сроков достижения AGI, учитывая, что вы не можете просто обеспечить 600,000 ГВтч новой энергии в ближайшее время. Это кажется очень недооцененным и недостаточно обсуждаемым аспектом гонки ИИ. Я собираюсь продолжить углубляться в эту тему, вероятно, это стоит более подробного отчета.

Кстати, если вы хотите увидеть детали того, что ChatGPT сказал по этой теме, вот они:

Кроме того, это даже не учитывает экспоненциальный спрос на вывод Эти рабочие нагрузки могут быть распределены по меньшим дата-центрам, где требования к энергии ниже, но это все равно оттягивает ресурсы из сети Сложив все это, мы видим, что впереди нас ждет огромная узкая горловина