torchtitan a construit le HSDP + le support diloco, c'est probablement le meilleur endroit en ce moment pour commencer à faire des recherches sur l'apprentissage décentralisé. Il est également livré avec le support de nombreuses architectures (llama3, llama4, deepseekv3...) ainsi que tout le parallélisme possible (6d ?). L'équipe Pytorch a concocté cela ici.