BatchNorm vince il Test-of-Time Award all'#ICML2025! 🎉 BatchNorm ha rivoluzionato il deep learning affrontando il cambiamento di covariate interne, che può rallentare l'apprendimento, limitare i tassi di apprendimento e rendere difficile l'addestramento di reti profonde. Normalizzando gli input all'interno di ogni mini-batch, BatchNorm ha stabilizzato e accelerato significativamente l'addestramento. Ha permesso tassi di apprendimento più elevati, migliorato il flusso del gradiente e aperto la strada a architetture molto più profonde come ResNet. Oltre a ridurre il cambiamento di covariate interne, BatchNorm rende anche più fluido il paesaggio di ottimizzazione e migliora la generalizzazione del modello, rendendolo un pilastro dell'addestramento moderno delle reti neurali. Ben meritato, @Sergey_xai e @ChrSzegedy!