Proponemos un nuevo algoritmo Momentum Look-Ahead en ICLR'25 MCDC que permite utilizar GPUs heterogéneas con alta utilización en preentrenamiento descentralizado. Las líneas de base son Async-DiloCo y DyLU, que superamos.
18.4K