Před 10 lety, v květnu 2015, jsme publikovali první funkční velmi hluboké dopředné neuronové sítě (FNN) založené na gradientech se stovkami vrstev (předchozí FNN měly maximálně několik desítek vrstev). K překonání problému mizejícího gradientu využily naše dálniční sítě reziduální spojení, která poprvé zavedla v roce 1991 společnost @HochreiterSepp, aby dosáhla konstantního toku chyb v rekurentních NN (RNN), které jsou řízeny multiplikativními hradly podobnými zápoložným hradlům (Gers et al., 1999) našeho velmi hlubokého LSTM RNN. Dálniční sítě byly umožněny díky práci mých bývalých doktorandů @rupspace a Klause Greffa. Nastavením bran Highway NN na 1.0 získáme ResNet zveřejněný o 7 měsíců později. Hluboké učení je především o hloubce NN. LSTM přinesly v podstatě neomezenou hloubku opakujícím se NN; Highway Nets to přinesly do dopředných NN.