BatchNorm ganha o Prémio Test-of-Time no #ICML2025! 🎉 BatchNorm revolucionou o deep learning ao abordar a mudança de covariáveis internas, que pode desacelerar o aprendizado, limitar as taxas de aprendizado e dificultar o treinamento de redes profundas. Ao normalizar as entradas dentro de cada mini-batch, o BatchNorm estabilizou e acelerou significativamente o treinamento. Ele permitiu taxas de aprendizado mais altas, melhorou o fluxo de gradientes e abriu caminho para arquiteturas muito mais profundas, como o ResNet. Além de reduzir a mudança de covariáveis internas, o BatchNorm também suaviza a paisagem de otimização e melhora a generalização do modelo, tornando-se uma pedra angular do treinamento moderno de redes neurais. Muito bem merecido, @Sergey_xai e @ChrSzegedy!
9,75K