BatchNorm đã giành giải Test-of-Time tại #ICML2025! 🎉 BatchNorm đã cách mạng hóa học sâu bằng cách giải quyết sự dịch chuyển nội bộ của biến thể, điều này có thể làm chậm quá trình học, giới hạn tốc độ học và khiến việc đào tạo các mạng sâu trở nên khó khăn. Bằng cách chuẩn hóa các đầu vào trong mỗi mini-batch, BatchNorm đã ổn định và tăng tốc quá trình đào tạo một cách đáng kể. Nó cho phép tốc độ học cao hơn, cải thiện dòng gradient và mở đường cho các kiến trúc sâu hơn như ResNet. Ngoài việc giảm sự dịch chuyển nội bộ của biến thể, BatchNorm còn làm mượt bề mặt tối ưu hóa và cải thiện khả năng tổng quát của mô hình, khiến nó trở thành một nền tảng của việc đào tạo mạng nơ-ron hiện đại. Rất xứng đáng, @Sergey_xai và @ChrSzegedy!