1991: primeira destilação de rede neural [1-3]. Eu a chamava de "colapso," na época, não "destilação." Referências [1] J. Schmidhuber (1991). Chunkers de sequência neural. Relatório Técnico FKI-148-91, Universidade Técnica de Munique. Sec. 3.2.2. & Sec. 4 falam sobre "colapso" ou "destilação" ou "compressão" do conhecimento de uma rede neural em outra rede neural. [2] JS (1992). Aprendendo sequências complexas e extensas usando o princípio da compressão de história. Computação Neural, 4(2):234-242, 1992. Baseado em [1]. [3] JS (Blog de IA, 2021, atualizado em 2025). 1991: Primeiro aprendizado profundo muito avançado com pré-treinamento não supervisionado. Primeira destilação de rede neural.