Voelt alsof dit niet genoeg aandacht heeft gekregen! Groot nieuws als het waar is en wordt uitgerold. Je hebt de GPU/ASICs jongens al horen praten over schaling OVER datacenters. Dit zijn niet alleen datacenters die zich op staatsgrenzen van elkaar bevinden. We hebben het over 1.000 km+. Als het waar is, biedt dit een potentiële oplossing voor enkele van de fysieke infra/energiebeperkingen, omdat je niet al het MW/GW op één locatie hoeft te hebben en veel effectiever kunt netwerken over meerdere locaties (en die met minder beperkingen). Wie koopt het en wie niet? Laten we het horen. Is gedistribueerde training hier? "@EpochAIResearch onderzoek suggereert dat het uitvoeren van 10 GW trainingsruns over twee dozijn locaties — verbonden door een netwerk dat duizenden kilometers beslaat — haalbaar is. Door onderbenutte generatie als proxy voor energiebeschikbaarheid te gebruiken, identificeren we een netwerk van 4.800 km van 23 locaties in de VS die theoretisch een 10GW gedistribueerde AI-cluster zouden kunnen ondersteunen... Het uitvoeren van grote gedecentraliseerde trainingsruns is haalbaar zonder een grote toename in zowel trainingstijd als budget."