1/2 Vi utvidet vårt tidligere arbeid i data-parallel-regimet (der hver node har full kopi av modellen) til Model-Parallel-regimet. Dette er det første verket, bortsett fra det originale svermpapiret, som omhandler scenariet der selve modellen er shardt over enheter.