قام Torchtitan ببناء دعم HSDP + diloco ، وربما يكون أفضل مكان الآن لبدء إجراء أبحاث التعلم اللامركزي. كما أنه يأتي مع دعم للعديد من الأقواس (llama3 ، llama4 ، deepseekv3 ...) بالإضافة إلى كل التوازي الممكن (6d؟). فريق Pytorch مطبوخ هنا