ICLR'25 MCDC では、分散型事前学習で異種 GPU を高い使用率で使用できる新しい Momentum Look-Ahead アルゴリズムを提案します。ベースラインはAsync-DiloCoとDyLUで、これを上回っています。
18.4K