Представляем CheckFree Устойчивый к сбоям метод децентрализованного обучения, без контрольных точек и избыточных вычислений. До 1,6 раза быстрее существующих методов, без потерь на сходимость. Мы открываем его исходный код сегодня.

Отказоустойчивость имеет критическое значение в децентрализованном обучении, так как узлы ненадежны и подвержены сбоям. Недавние работы предложили различные методы восстановления, хотя они все еще требуют избыточных вычислений или контрольных точек, что добавляет время и вычислительные ресурсы.

Как это работает CheckFree вместо этого восстанавливает неудавшуюся стадию с помощью средних весов соседних стадий. Это обеспечивает эффективный способ приблизить потерянные веса с минимальным влиянием на сходимость. Блог:

Это открывает: – До 1,6x быстрее время обучения, чем при обычном чекпоинтинге – До 1,2x быстрее, чем при использовании избыточных вычислений – Не требуется дополнительная память или вычисления

Сегодня мы открываем исходный код, как ключевой строительный блок для децентрализованного обучения. Блог: Документ: Код:

Мы рады открыть его сегодня как ключевой строительный блок для децентрализованного обучения. Блог: Документ: Код: