J'ai l'impression que cela n'a pas reçu assez d'attention ! C'est un gros problème si c'est vrai et que cela se met en place. Vous avez déjà entendu les gars des GPU/ASICs parler de l'évolutivité À TRAVERS les centres de données. Ce ne sont pas seulement des centres de données situés à quelques frontières d'État les uns des autres. On parle de 1 000 kms+. Si c'est vrai, cela offre un moyen potentiel de contourner certaines des limitations physiques/infrastructures/énergétiques, car vous n'auriez pas besoin d'avoir toute la MW/GW à un seul endroit et vous pouvez interconnecter plusieurs emplacements (et ceux avec moins de contraintes) de manière beaucoup plus efficace. Qui l'achète et qui ne l'achète pas ? Écoutons cela. L'entraînement distribué est là ? "@EpochAIResearch suggère que la réalisation de sessions d'entraînement de 10 GW sur deux douzaines de sites — reliés par un réseau s'étendant sur des milliers de km — est faisable. En utilisant la génération sous-utilisée comme un indicateur de la disponibilité de l'énergie, nous identifions un réseau de 4 800 km de 23 sites aux États-Unis qui pourrait théoriquement soutenir un cluster d'IA distribué de 10 GW... Réaliser de grandes sessions d'entraînement décentralisées est faisable sans une grande augmentation du temps ou du budget d'entraînement."