Fühlt sich an, als hätte das nicht genug Aufmerksamkeit bekommen! Großes Ding, wenn es wahr ist und umgesetzt wird. Ihr habt die GPU/ASIC-Leute schon darüber sprechen hören, wie man über Datenzentren hinweg skalieren kann. Es geht nicht nur um Datenzentren, die sich an Staatsgrenzen voneinander befinden. Es geht um 1.000 km+. Wenn das wahr ist, bietet es eine potenzielle Umgehung einiger physischer Infrastruktur-/Strombeschränkungen, da man nicht alle MW/GW an einem einzigen Standort haben müsste und viel effektiver über mehrere Standorte (und solche mit weniger Einschränkungen) vernetzen kann. Wer kauft es und wer nicht? Lasst es uns hören. Ist verteiltes Training hier? "@EpochAIResearch Forschung legt nahe, dass es machbar ist, 10 GW-Trainingsläufe über zwei Dutzend Standorte durchzuführen — verbunden durch ein Netzwerk, das sich über Tausende von km erstreckt. Unter Nutzung von ungenutzter Erzeugung als Proxy für die Verfügbarkeit von Strom identifizieren wir ein 4.800 km langes Netzwerk von 23 Standorten in den USA, das theoretisch ein 10GW verteiltes KI-Cluster unterstützen könnte... Große dezentrale Trainingsläufe sind machbar, ohne dass sich die Trainingszeit oder das Budget erheblich erhöhen."