1991: primeira destilação de rede neural [1-3]. Eu chamei isso de "colapso", naquela época, não de "destilação". Referências [1] J. Schmidhuber (1991). Chunkers de sequência neural. Relatório Técnico FKI-148-91, Tech Univ. Munique. Seção 3.2.2. A Seção 4 trata de "colapsar" ou "destilar" ou "comprimir" o conhecimento de uma rede neural em outra rede neural. [2] JS (1992). Aprendendo sequências complexas e estendidas usando o princípio da compressão da história. Computação Neural, 4(2):234-242, 1992. Com base em [1]. [3] JS (AI Blog, 2021, atualizado em 2025). 1991: Primeiro aprendizado muito profundo com pré-treinamento não supervisionado. Primeira destilação de rede neural.