torchtitan telah membangunnya dukungan HSDP + diloco, ini mungkin tempat terbaik saat ini untuk mulai melakukan penelitian pembelajaran terdesentralisasi. Itu juga datang dengan dukungan untuk banyak lengkungan (llama3,llama4, deepseekv3...) serta semua kemungkinan paralelisme (6d?). Tim Pytorch memasak di sini