torchtitan to vybudoval Podpora HSDP + diloco, je to pravděpodobně nejlepší místo, kde právě teď začít dělat výzkum decentralizovaného učení. Přichází také s podporou pro mnoho archů (llama3,llama4, deepseekv3...), stejně jako veškerý možný paralelismus (6d?). Vařil zde tým Pytorch
15,48K