نقترح خوارزمية Momentum Look-Ahead جديدة في ICLR'25 MCDC والتي تسمح باستخدام وحدات معالجة الرسومات غير المتجانسة مع الاستخدام العالي في التدريب المسبق اللامركزي. خطوط الأساس هي Async-DiloCo و DyLU التي نتفوق عليها.
‏‎18.4‏K