¡Siento que esto no recibió suficiente atención! Es un gran asunto si es cierto y se está implementando. Ya has oído a los chicos de GPU/ASICs hablar sobre la escalabilidad A TRAVÉS de los centros de datos. No se trata solo de centros de datos ubicados en fronteras estatales entre sí. Hablamos de más de 1,000 kms. Si es cierto, esto ofrece una posible solución a algunas de las limitaciones físicas de infraestructura/poder, ya que no necesitarías tener toda la MW/GW en una sola ubicación y puedes interconectar múltiples ubicaciones (y aquellas con menos restricciones) de manera mucho más efectiva. ¿Quién lo compra y quién no? Vamos a escucharlo. ¿El entrenamiento distribuido está aquí? "@EpochAIResearch sugiere que realizar entrenamientos de 10 GW en dos docenas de sitios —conectados por una red que abarca miles de km— es factible. Usando generación infrautilizada como un proxy de disponibilidad de energía, identificamos una red de 4,800 km de 23 sitios en EE. UU. que podría teóricamente soportar un clúster de IA distribuido de 10GW... Realizar grandes entrenamientos descentralizados es factible sin un gran aumento en el tiempo de entrenamiento o el presupuesto."