torchtitan đã xây dựng HSDP + hỗ trợ diloco, đây có lẽ là nơi tốt nhất ngay bây giờ để bắt đầu nghiên cứu học tập phi tập trung. Nó cũng đi kèm với hỗ trợ cho nhiều kiến trúc (llama3, llama4, deepseekv3...) cũng như tất cả các khả năng song song (6d?). Nhóm Pytorch đã nấu ăn ở đây.