1/2 データ並列領域 (すべてのノードがモデルの完全なコピーを持つ) での以前の作業をモデル並列領域に拡張しました。これは、元の群れの論文を除けば、モデル自体がデバイス上でシャード化されるシナリオを扱った最初の作品です。
2.02K