1991: primera destilación de redes neuronales [1-3]. Yo lo llamé "colapsar," en ese entonces, no "destilar." Referencias [1] J. Schmidhuber (1991). Fragmentadores de secuencias neuronales. Informe técnico FKI-148-91, Universidad Técnica de Múnich. La Sección 3.2.2. y la Sección 4 tratan sobre "colapsar" o "destilar" o "comprimir" el conocimiento de una red neuronal en otra red neuronal. [2] JS (1992). Aprendiendo secuencias complejas y extendidas utilizando el principio de compresión de la historia. Neural Computation, 4(2):234-242, 1992. Basado en [1]. [3] JS (AI Blog, 2021, actualizado 2025). 1991: Primer aprendizaje profundo muy avanzado con pre-entrenamiento no supervisado. Primera destilación de redes neuronales.