Sinto que isto não recebeu atenção suficiente! Grande negócio se for verdade e se estiver a ser implementado. Já ouviste os pessoal das GPU/ASICs a falar sobre escalabilidade ENTRE centros de dados. Isto não se trata apenas de centros de dados localizados em estados vizinhos. Estamos a falar de 1.000 kms+. Se for verdade, isto oferece uma potencial solução para algumas das limitações físicas/infrastuturais de energia, pois não precisarias de ter toda a MW/GW num único local e poderias interligar várias localizações (e aquelas com menos restrições) de forma muito mais eficaz. Quem compra a ideia e quem não compra? Vamos ouvir. O treinamento distribuído está aqui? "@EpochAIResearch a pesquisa sugere que realizar corridas de treinamento de 10 GW em duas dúzias de locais — ligados por uma rede que se estende por milhares de km — é viável. Usando geração subutilizada como um proxy da disponibilidade de energia, identificamos uma rede de 4.800 km de 23 locais nos EUA que poderia teoricamente suportar um cluster de IA distribuído de 10GW... Realizar grandes corridas de treinamento descentralizadas é viável sem um grande aumento no tempo ou orçamento de treinamento."