torchtitan har bygget den HSDP + diloco-støtte, det er sannsynligvis det beste stedet akkurat nå å begynne å gjøre desentralisert læringsforskning. Det kommer også med støtte for mange arch (llama3,llama4, deepseekv3...) samt all mulig parallellitet (6d?). Pytorch-teamet lagde mat her
15,48K