torchtitan hat HSDP + diloco Unterstützung aufgebaut, es ist wahrscheinlich der beste Ort, um jetzt mit der Forschung zu dezentralem Lernen zu beginnen. Es kommt auch mit Unterstützung für viele Architekturen (llama3, llama4, deepseekv3...) sowie allen möglichen Parallelismen (6d?). Das Pytorch-Team hat hier gekocht.