torchtitan l-a construit HSDP + suport diloco, este probabil cel mai bun loc în acest moment pentru a începe să faci cercetare de învățare descentralizată. De asemenea, vine cu suport pentru multe arcuri (llama3,llama4, deepseekv3...), precum și pentru toate paralelismele posibile (6d?). Echipa Pytorch a gătit aici