torchtitan construiu suporte HSDP + diloco, é provavelmente o melhor lugar agora para começar a fazer pesquisas de aprendizado descentralizadas. Ele também vem com suporte para muitos arch (llama3, llama4, deepseekv3 ...), bem como todo o paralelismo possível (6d?). A equipe Pytorch cozinhou aqui
15,62K