今日は、AI のエネルギー要件と制約、AGI/ASI のタイムラインへの潜在的な影響について、@Shaughnessy119と楽しいチャットをしました 週の初めに、大規模なデータセンターを建設している友人に会い、新築の電力供給は 2028 年から 2030 年であると言ったとき、私の目は開かれました したがって、エネルギーの制約を考えると、AIイノベーションのペースをどのように継続するのか、それとも中国に追いつくのか、本当に疑問に思うでしょう。 トミーはいくつかの良い調査を行いましたが、その数字は気が遠くなるほどです。 GPT-3 は、トレーニングに推定 1.3 GWh のエネルギーを使用しました GPT-4 は、推定 50-60 GWh を使用してトレーニングを行いました AGI モデルをトレーニングするには、600,000+ GWh かかる場合があります。 これを大局的に考えると、これは米国の年間発電量全体の約 22% に相当します。 もちろん、これらは単なる推定値であり、エネルギー生産における大きな革新を考慮に入れたものではないが、1)何が必要か、2)600,000GWhの新エネルギーをすぐに供給することはできないことを考えると、AGIに到達するまでのタイムラインへの影響について、大きな現実チェックを提供してくれます これは、AI 競争にとって非常に過小評価され、過小評価されている側面のようです これについてはさらに深く掘り下げていくつもりですが、おそらくより詳細なレポートに値するでしょう

ところで、このトピックに関して ChatGPT が言わなければならなかったことの詳細を見たい場合は、ここに行きます。

また、これは推論に対する指数関数的な需要を考慮に入れていません これらのワークロードは、電力要件が低い小規模なデータセンターに分散できますが、それでもグリッドからの引き抜きです すべてを合計すると、大きなボトルネックが迫っています