BatchNorm получает награду Test-of-Time на #ICML2025! 🎉 BatchNorm произвел революцию в глубоком обучении, решив проблему внутреннего смещения ковариат, что может замедлять обучение, ограничивать скорости обучения и усложнять тренировку глубоких сетей. Нормализуя входные данные в каждой мини-партии, BatchNorm значительно стабилизировал и ускорил обучение. Это позволило использовать более высокие скорости обучения, улучшило поток градиентов и проложило путь для гораздо более глубоких архитектур, таких как ResNet. Помимо снижения внутреннего смещения ковариат, BatchNorm также сглаживает ландшафт оптимизации и улучшает обобщение модели, что делает его краеугольным камнем современного обучения нейронных сетей. Очень заслуженно, @Sergey_xai и @ChrSzegedy!