Torchtitan har byggt det HSDP + diloco-stöd, det är förmodligen det bästa stället just nu att börja göra decentraliserad inlärningsforskning. Den kommer också med stöd för många arch (llama3,llama4, deepseekv3...) samt alla möjliga parallelliteter (6d?). Pytorch-teamet lagade mat här