torchtitan heeft HSDP + diloco-ondersteuning gebouwd, het is waarschijnlijk de beste plek om nu te beginnen met onderzoek naar gedecentraliseerd leren. Het komt ook met ondersteuning voor veel arch (llama3, llama4, deepseekv3...) evenals alle mogelijke parallelisme (6d?). Het Pytorch-team heeft hier gekookt.