torchtitan は HSDP + diloco サポートを構築しており、おそらく分散型学習研究を始めるのに最適な場所です。また、多くのアーチ(llama3、llama4、deepseekv3など)と、考えられるすべての並列処理(6d?)のサポートも付属しています。ここで調理したパイトーチチーム
15.28K