Sinto que isso não recebeu atenção suficiente! Grande coisa se for verdade e lançando. Você já ouviu os caras da GPU/ASICs falarem sobre escalar ACROSS data centers. Não se trata apenas de data centers localizados nas fronteiras estaduais, longe uns dos outros. Falando em 1.000 kms+. Se for verdade, isso oferece uma solução alternativa potencial para algumas das limitações físicas de infra/energia, pois você não precisaria ter todos os MW/GW em um único local e pode se conectar em rede em vários locais (e aqueles com menos restrições) com muito mais eficiência. Quem compra e quem não compra? Vamos ouvir O treinamento distribuído chegou? "@EpochAIResearch pesquisa sugere que a realização de treinamentos de 10 GW em duas dúzias de locais - ligados por uma rede que abrange milhares de km - é viável. Usando a geração subutilizada como proxy da disponibilidade de energia, identificamos uma rede de 4.800 km de 23 locais nos EUA que teoricamente poderia suportar um cluster de IA distribuído de 10 GW ... A realização de grandes treinamentos descentralizados é viável sem um grande aumento no tempo ou no orçamento de treinamento."