BatchNorm vinner Test-of-Time Award på #ICML2025! 🎉 BatchNorm revolusjonerte dyp læring ved å adressere internt kovariatskifte, som kan bremse læring, begrense læringshastigheter og gjøre det vanskelig å trene dype nettverk. Ved å normalisere innganger i hver minibatch, stabiliserte og akselererte BatchNorm treningen betydelig. Det muliggjorde høyere læringshastigheter, forbedret gradientflyt og banet vei for mye dypere arkitekturer som ResNet. I tillegg til å redusere intern kovariatforskyvning, jevner BatchNorm også ut optimaliseringslandskapet og forbedrer modellgeneraliseringen, noe som gjør det til en hjørnestein i moderne nevrale nettverkstrening. Veldig velfortjent, @Sergey_xai og @ChrSzegedy!