BatchNorm 在 #ICML2025 獲得了時代考驗獎！ 🎉 BatchNorm 通過解決內部協變量偏移，徹底改變了深度學習，這種偏移會減慢學習速度，限制學習率，並使訓練深度網絡變得困難。 通過在每個小批量內對輸入進行正規化，BatchNorm 顯著穩定並加速了訓練。它使得更高的學習率成為可能，改善了梯度流，並為像 ResNet 這樣的更深層架構鋪平了道路。 除了減少內部協變量偏移外，BatchNorm 還平滑了優化景觀並改善了模型的泛化能力，使其成為現代神經網絡訓練的基石。 非常值得，@Sergey_xai 和 @ChrSzegedy！