1991: prima distillazione di reti neurali [1-3]. All'epoca la chiamai "collapsing," non "distilling." Riferimenti [1] J. Schmidhuber (1991). Chunker di sequenze neurali. Rapporto tecnico FKI-148-91, Università tecnica di Monaco. Sez. 3.2.2. & Sez. 4 trattano di "collapsing" o "distilling" o "compressing" la conoscenza di una rete neurale in un'altra rete neurale. [2] JS (1992). Apprendimento di sequenze complesse e prolungate utilizzando il principio della compressione della storia. Neural Computation, 4(2):234-242, 1992. Basato su [1]. [3] JS (AI Blog, 2021, aggiornato 2025). 1991: Primo apprendimento molto profondo con pre-addestramento non supervisionato. Prima distillazione di reti neurali.
16,1K