热门话题
#
Bonk 生态迷因币展现强韧势头
#
有消息称 Pump.fun 计划 40 亿估值发币,引发市场猜测
#
Solana 新代币发射平台 Boop.Fun 风头正劲

Christian Szegedy
#deeplearning,#ai 研究科学家。意见是我的。
Christian Szegedy 已转发
BatchNorm 在 #ICML2025 上获得了终身成就奖! 🎉
BatchNorm 通过解决内部协变量偏移问题,彻底改变了深度学习,这种问题会减缓学习速度,限制学习率,并使训练深度网络变得困难。
通过对每个小批量内的输入进行归一化,BatchNorm 显著稳定并加速了训练。它使得更高的学习率成为可能,改善了梯度流,并为像 ResNet 这样更深的架构铺平了道路。
除了减少内部协变量偏移,BatchNorm 还平滑了优化景观并改善了模型的泛化能力,使其成为现代神经网络训练的基石。
非常值得,@Sergey_xai 和 @ChrSzegedy!

9.74K
一个西瓜大小的樱桃在顶部 :)

Shane Gu7月11日 06:22
2023年:在OpenAI,一些关键人物在后训练阶段反对扩展强化学习。
2022年:Eric/Yuhuai(现在是xAI)写了STaR,而我写了“LLM可以自我改进”。很明显,基于干净信号的强化学习解锁了下一个飞跃。
前后训练的分界可能是AI发展的一个重大减速。

13.64K
热门
排行
收藏
链上热点
X 热门榜
近期融资
最受认可