torchtitan zbudował HSDP + wsparcie dla diloco, to prawdopodobnie najlepsze miejsce, aby rozpocząć badania nad zdecentralizowanym uczeniem. Oferuje również wsparcie dla wielu architektur (llama3, llama4, deepseekv3...) oraz wszelkiego rodzaju równoległość (6d?). Zespół Pytorch to tutaj przygotował.