1/2 Rozšířili jsme naši předchozí práci v data-paralelním režimu (kde každý uzel má plnou kopii modelu) na režim Model-Parallel. Toto je první práce, kromě původního článku swarm, zabývající se scénářem, kdy je samotný model shardován přes zařízení.
2K