torchtitan ha construido HSDP + soporte diloco, probablemente sea el mejor lugar en este momento para comenzar a hacer investigación en aprendizaje descentralizado. También viene con soporte para muchas arquitecturas (llama3, llama4, deepseekv3...) así como todo el paralelismo posible (¿6d?). El equipo de Pytorch ha trabajado aquí.