10 lat temu, w maju 2015 roku, opublikowaliśmy pierwsze działające bardzo głębokie sieci neuronowe typu feedforward (FNN) z setkami warstw (wcześniejsze FNN miały maksymalnie kilka tuzinów warstw). Aby przezwyciężyć problem znikającego gradientu, nasze sieci Highway używały połączeń resztkowych, które po raz pierwszy wprowadzono w 1991 roku przez @HochreiterSepp, aby osiągnąć stały przepływ błędu w rekurencyjnych sieciach neuronowych (RNN), kontrolowanych przez bramki mnożnikowe podobne do bramek zapominania (Gers i in., 1999) w naszej bardzo głębokiej LSTM RNN. Sieci Highway stały się możliwe dzięki pracy moich byłych doktorantów @rupspace i Klausa Greffa. Ustawienie bramek sieci Highway na 1.0 skutecznie daje nam ResNet opublikowany 7 miesięcy później. Głębokie uczenie polega na głębokości sieci neuronowych. LSTM wprowadziły zasadniczo nieograniczoną głębokość do rekurencyjnych sieci neuronowych; sieci Highway wprowadziły ją do sieci feedforward.