Proponujemy nowy algorytm Momentum Look-Ahead w ICLR'25 MCDC, który umożliwia korzystanie z heterogenicznych procesorów graficznych z wysokim wykorzystaniem w zdecentralizowanym trenowaniu wstępnym. Linie bazowe to Async-DiloCo i DyLU, które przewyższamy.
18,4K