For 10 år siden, i mai 2015, publiserte vi de første fungerende veldig dype gradientbaserte nevrale nettverkene (FNN) med hundrevis av lag (tidligere FNN-er hadde maksimalt noen få dusin lag). For å overvinne problemet med forsvinningsgradienten brukte våre motorveinettverk de gjenværende forbindelsene som først ble introdusert i 1991 av @HochreiterSepp for å oppnå konstant feilflyt i tilbakevendende NN-er (RNN-er), inngjerdet gjennom multiplikative porter som ligner på glemteportene (Gers et al., 1999) til vår veldig dype LSTM RNN. Highway NNs ble muliggjort gjennom arbeidet til mine tidligere doktorgradsstudenter @rupspace og Klaus Greff. Å sette Highway NN-portene til 1.0 gir oss effektivt ResNet publisert 7 måneder senere. Dyp læring handler om NN-dybde. LSTM-er brakte i hovedsak ubegrenset dybde til tilbakevendende NN-er; Highway Nets brakte det til feedforward NNs.