热门话题
#
Bonk 生态迷因币展现强韧势头
#
有消息称 Pump.fun 计划 40 亿估值发币,引发市场猜测
#
Solana 新代币发射平台 Boop.Fun 风头正劲
1991年:首次神经网络蒸馏[1-3]。当时我称之为“崩溃”,而不是“蒸馏”。
参考文献
[1] J. Schmidhuber (1991)。神经序列分块器。技术报告 FKI-148-91,慕尼黑工业大学。第3.2.2节和第4节关于将神经网络的知识“崩溃”或“蒸馏”或“压缩”到另一个神经网络中。
[2] JS (1992)。使用历史压缩原理学习复杂的扩展序列。神经计算,4(2):234-242,1992年。基于[1]。
[3] JS (AI博客,2021年,更新于2025年)。1991年:首次非常深度的无监督预训练学习。首次神经网络蒸馏。

16.09K
热门
排行
收藏