Propunem un nou algoritm Momentum Look-Ahead la ICLR'25 MCDC, care permite utilizarea GPU-urilor eterogene cu o utilizare ridicată în preantrenamentul descentralizat. Liniile de bază sunt Async-DiloCo și DyLU, pe care le depășim.
18,47K