1991年：首次神经网络蒸馏[1-3]。当时我称之为“崩溃”，而不是“蒸馏”。 参考文献 [1] J. Schmidhuber (1991)。神经序列分块器。技术报告 FKI-148-91，慕尼黑工业大学。第3.2.2节和第4节关于将神经网络的知识“崩溃”或“蒸馏”或“压缩”到另一个神经网络中。 [2] JS (1992)。使用历史压缩原理学习复杂的扩展序列。神经计算，4(2)：234-242，1992年。基于[1]。 [3] JS (AI博客，2021年，更新于2025年)。1991年：首次非常深度的无监督预训练学习。首次神经网络蒸馏。