BatchNorm remporte le Test-of-Time Award à #ICML2025 ! 🎉 BatchNorm a révolutionné l'apprentissage profond en s'attaquant au décalage de covariables internes, qui peut ralentir l'apprentissage, limiter les taux d'apprentissage et rendre difficile l'entraînement de réseaux profonds. En normalisant les entrées au sein de chaque mini-lot, BatchNorm a considérablement stabilisé et accéléré l'entraînement. Cela a permis des taux d'apprentissage plus élevés, amélioré le flux de gradients et ouvert la voie à des architectures beaucoup plus profondes comme ResNet. Au-delà de la réduction du décalage de covariables internes, BatchNorm lisse également le paysage d'optimisation et améliore la généralisation du modèle, en faisant une pierre angulaire de l'entraînement moderne des réseaux de neurones. Bien mérité, @Sergey_xai et @ChrSzegedy !