Представляємо CheckFree Відмовостійкий метод для децентралізованого навчання, без контрольних точок і зайвих обчислень. До 1,6 раза швидше, ніж існуючі методи, без втрат конвергенції. Сьогодні ми відкриті постачальники.
Відмовостійкість має вирішальне значення в децентралізованому навчанні, оскільки вузли ненадійні та схильні до збоїв. У недавніх роботах були запропоновані різні методи відновлення, хоча вони все ще вимагають зайвих обчислень або контрольних точок, додаючи час і обчислення.
Як це працює Натомість CheckFree відновлює невдалий етап із середніми вагами сусідніх етапів. Це забезпечує ефективний спосіб наближення втрачених ваг з мінімальним впливом на конвергенцію. Блог:
Це відкриває: – До 1,6 раза швидший час навчання, ніж на звичайних контрольних пунктах – До 1,2 раза швидше, ніж використання резервних обчислень – Не потрібна додаткова пам'ять або обчислення
Сьогодні ми відкрито розглядаємо його як ключовий будівельний блок для децентралізованого навчання. Блог: Папір: Код:
Ми раді відкрити його вихідний код сьогодні, як ключовий будівельний блок для децентралізованого навчання. Блог: Папір: Код:
29,83K