BatchNorm zdobywa nagrodę Test-of-Time na #ICML2025! 🎉 BatchNorm zrewolucjonizował uczenie głębokie, rozwiązując problem wewnętrznego przesunięcia kowariancji, które może spowolnić uczenie, ogranicza tempo uczenia i utrudnia trenowanie głębokich sieci. Normalizując dane wejściowe w każdej mini-partii, BatchNorm znacząco ustabilizował i przyspieszył proces treningu. Umożliwił wyższe tempo uczenia, poprawił przepływ gradientów i otworzył drogę dla znacznie głębszych architektur, takich jak ResNet. Oprócz redukcji wewnętrznego przesunięcia kowariancji, BatchNorm również wygładza krajobraz optymalizacji i poprawia generalizację modelu, co czyni go fundamentem nowoczesnego treningu sieci neuronowych. Bardzo zasłużone, @Sergey_xai i @ChrSzegedy!