În urmă cu 10 ani, în mai 2015, am publicat primele rețele neuronale bazate pe gradient foarte profund (FNN) cu sute de straturi (FNN-urile anterioare aveau maximum câteva zeci de straturi). Pentru a depăși problema gradientului de dispariție, rețelele noastre de autostrăzi au folosit conexiunile reziduale introduse pentru prima dată în 1991 de @HochreiterSepp pentru a obține un flux constant de eroare în NN-urile recurente (RNN), închise prin porți multiplicative similare cu porțile de uitare (Gers et al., 1999) ale RNN-ului nostru LSTM foarte profund. Highway NN-uri au fost posibile datorită muncii foștilor mei doctoranzi @rupspace și Klaus Greff. Setarea porților Highway NN la 1.0 ne oferă efectiv ResNet publicat 7 luni mai târziu. Învățarea profundă se referă la profunzimea NN. LSTM-urile au adus profunzime nelimitată NN-urilor recurente; Highway Nets l-a adus la NN-urile feedforward.