感覺這件事沒有得到足夠的關注！如果這是真的並且正在推行，那可是一件大事。你已經聽過GPU/ASIC的專家談論如何在數據中心之間擴展。這不僅僅是位於州邊界的數據中心。談論的是超過1,000公里的距離。 如果這是真的，這提供了一種潛在的解決方案來克服一些物理基礎設施/電力限制，因為你不需要在單一地點擁有所有的MW/GW，而是可以在多個地點（以及那些限制較少的地點）之間更有效地進行網絡連接。誰會接受，誰不會？讓我們聽聽。 分散式訓練來了嗎？"@EpochAIResearch的研究表明，在兩打地點進行10 GW的訓練運行是可行的，這些地點通過一個跨越數千公里的網絡相連。利用未充分利用的發電作為電力可用性的代理，我們確定了美國一個4,800公里的23個地點的網絡，理論上可以支持一個10GW的分散式AI集群……進行大型去中心化的訓練運行是可行的，且不會大幅增加訓練時間或預算。"