BatchNorm отримує нагороду Test-of-Time Award на #ICML2025! 🎉 BatchNorm здійснив революцію в глибокому навчанні, вирішивши проблему внутрішнього коваріатного зсуву, який може уповільнити навчання, обмежити швидкість навчання та ускладнити тренування глибоких мереж. Нормалізуючи витрати в межах кожної міні-партії, BatchNorm значно стабілізував і прискорив навчання. Це дозволило підвищити швидкість навчання, покращити градієнтний потік і проклало шлях для набагато глибших архітектур, таких як ResNet. Крім зменшення внутрішнього коваріатного зсуву, BatchNorm також згладжує ландшафт оптимізації та покращує узагальнення моделі, роблячи його наріжним каменем сучасного навчання нейронних мереж. Дуже заслужено, @Sergey_xai і @ChrSzegedy!