För 10 år sedan, i maj 2015, publicerade vi de första fungerande mycket djupa gradientbaserade feedforward-neurala nätverken (FNN) med hundratals lager (tidigare FNN:er hade maximalt några dussin lager). För att övervinna problemet med försvinnande gradient använde våra motorvägsnät de kvarvarande anslutningarna som först introducerades 1991 av @HochreiterSepp för att uppnå konstant felflöde i återkommande NN (RNN), styrda genom multiplikativa grindar som liknar glömsportarna (Gers et al., 1999) i vår mycket djupa LSTM RNN. Highway NNs möjliggjordes genom arbetet av mina tidigare doktorander @rupspace och Klaus Greff. Genom att ställa in Highway NN-grindarna på 1.0 får vi effektivt det ResNet som publicerades 7 månader senare. Djupinlärning handlar om NN-djup. LSTM gav i princip obegränsat djup till återkommande NN; Highway Nets förde den till feedforward NNs.