Proponiamo un nuovo algoritmo Momentum Look-Ahead presso ICLR'25 MCDC che consente di utilizzare GPU eterogenee con un elevato utilizzo nel pre-addestramento decentralizzato. Le linee di base sono Async-DiloCo e DyLU che superiamo.
18,41K