1/2 We hebben ons eerdere werk in het data-parallelle regime (waarbij elke node een volledige kopie van het model heeft) uitgebreid naar het Model-Parallel regime. Dit is het eerste werk, afgezien van het originele zwermpapier, dat zich bezighoudt met het scenario waarin het model zelf over apparaten wordt gescherven.