1/2 Vi utökade vårt tidigare arbete i den dataparallella regimen (där varje nod har en fullständig kopia av modellen) till den modellparallella regimen. Detta är det första arbetet, bortsett från det ursprungliga svärmdokumentet, som handlar om scenariot där själva modellen är fragmenterad över enheter.