torchtitan ha costruito il suo HSDP + supporto diloco, probabilmente è il posto migliore in questo momento per iniziare a fare ricerca sull'apprendimento decentralizzato. Viene anche fornito con supporto per molte architetture (llama3, llama4, deepseekv3...) così come tutto il possibile parallelismo (6d?). Il team di Pytorch ha lavorato qui.