BatchNorm câștigă premiul Test-of-Time la #ICML2025! 🎉 BatchNorm a revoluționat învățarea profundă prin abordarea schimbării covariabilelor interne, care poate încetini învățarea, limitează ratele de învățare și îngreunează antrenarea rețelelor profunde. Prin normalizarea intrărilor din fiecare mini-lot, BatchNorm a stabilizat și accelerat semnificativ antrenamentul. A permis rate de învățare mai mari, a îmbunătățit fluxul de gradient și a deschis calea pentru arhitecturi mult mai profunde, cum ar fi ResNet. Dincolo de reducerea schimbării covariabilelor interne, BatchNorm netezește peisajul de optimizare și îmbunătățește generalizarea modelului, făcându-l o piatră de temelie a antrenamentului modern al rețelelor neuronale. Foarte bine meritat, @Sergey_xai și @ChrSzegedy!