今天和 @Shaughnessy119 聊了很多有趣的話題，討論了 AI 的能源需求和限制，以及對 AGI/ASI 時間表的潛在影響。 本週早些時候，我和一位建造大型數據中心的朋友見面，他提到新建設的電力供應預計在 2028-2030 年之間——在 AI 的世界裡，這是一段非常漫長的時間。 所以你真的會想，面對能源限制，我們到底該如何繼續推進 AI 創新，甚至僅僅是跟上中國的步伐？ Tommy 做了一些很好的研究，數字令人震驚： GPT-3 訓練時估計使用了 1.3 GWh 的能源。 GPT-4 訓練時估計使用了 50-60 GWh 的能源。 訓練一個 AGI 模型，可能需要 600,000+ GWh！ 為了讓這個數字更具體，這大約是美國全年電力生產的 22%。 當然，這些僅僅是估算，並未考慮到能源生產的任何重大創新，但它確實給我們提供了一個巨大的現實檢查，1) 這可能需要什麼，2) 考慮到你不能隨便提供 600,000 GWh 的新能源，這對達到 AGI 的時間表的影響。 這似乎是 AI 競賽中一個被低估和少談論的維度。 我將繼續深入研究這個問題，這可能值得更深入的報告。

順便說一下，如果你想查看 ChatGPT 在這個主題上所說的詳細信息，這裡給你：

此外，這甚至還沒有考慮到推理的指數需求 這些工作負載可以分散到較小的數據中心，這些數據中心的電力需求較低，但這仍然是對電網的拉動 總結起來，面臨著一個巨大的瓶頸