BatchNorm gewinnt den Test-of-Time Award bei #ICML2025! 🎉 BatchNorm hat das Deep Learning revolutioniert, indem es den internen Kovariatenverschiebung angegangen ist, die das Lernen verlangsamen, die Lernraten einschränken und das Training tiefer Netzwerke erschweren kann. Durch die Normalisierung der Eingaben innerhalb jedes Mini-Batches hat BatchNorm das Training erheblich stabilisiert und beschleunigt. Es ermöglichte höhere Lernraten, verbesserte den Gradientfluss und ebnete den Weg für viel tiefere Architekturen wie ResNet. Neben der Reduzierung der internen Kovariatenverschiebung glättet BatchNorm auch die Optimierungslandschaft und verbessert die Generalisierung des Modells, was es zu einem Grundpfeiler des modernen Trainings neuronaler Netzwerke macht. Sehr wohl verdient, @Sergey_xai und @ChrSzegedy!