1991年:最初のニューラルネットワーク蒸留[1-3]。当時、私はそれを「蒸留」ではなく「崩壊」と呼んでいました。 参照 [1] J.シュミットフーバー(1991)。ニューラルシーケンスチャンカー。技術レポートFKI-148-91、ミュンヘン工科大学。セクション3.2.2。第4節は、ニューラルネットワークの知識を別のニューラルネットワークに「崩壊」または「蒸留」または「圧縮」することについてです。 [2] JS(1992年)。履歴圧縮の原理を使用して、複雑で拡張されたシーケンスを学習します。ニューラルコンピュテーション, 4(2):234-242, 1992.[1]に基づきます。 [3] JS (AI ブログ、2021年、2025年更新)。1991年:教師なし事前学習による最初の非常に深い学習。最初のニューラルネットワークの蒸留。