BatchNormが #ICML2025 でTest-of-Time Awardを受賞!🎉 BatchNorm は、学習を遅くし、学習率を制限し、ディープネットワークのトレーニングを困難にする内部共変量シフトに対処することで、ディープラーニングに革命をもたらしました。 各ミニバッチ内の入力を正規化することで、BatchNorm は学習を大幅に安定させ、加速しました。これにより、学習率が向上し、勾配フローが改善され、ResNetのようなはるかに深いアーキテクチャへの道が開かれました。 BatchNorm は、内部共変量シフトを減らすだけでなく、最適化の状況を滑らかにし、モデルの一般化を改善するため、最新のニューラル ネットワーク トレーニングの基礎となっています。 非常に当然、@Sergey_xai、そして@ChrSzegedyです!