قبل 10 سنوات ، في مايو 2015 ، نشرنا أول شبكات عصبية قائمة على التدرج العميق جدا (FNNs) تعمل بمئات الطبقات (كان لدى FNNs السابقة بضع عشرات من الطبقات كحد أقصى). للتغلب على مشكلة التدرج المتلاشي ، استخدمت شبكات الطرق السريعة الخاصة بنا الاتصالات المتبقية التي تم تقديمها لأول مرة في عام 1991 بواسطة @HochreiterSepp لتحقيق تدفق خطأ مستمر في NNs المتكررة (RNNs) ، المسورة من خلال بوابات مضاعفة مشابهة لبوابات النسيان (Gers et al. ، 1999) من LSTM RNN العميق جدا. أصبحت NNs على الطرق السريعة ممكنة من خلال عمل طلاب الدكتوراه السابقين @rupspace وكلاوس جريف. إن ضبط بوابات الطريق السريع NN على 1.0 يمنحنا بشكل فعال ResNet الذي تم نشره بعد 7 أشهر. التعلم العميق هو كل شيء عن عمق NN. جلبت LSTMs عمقا غير محدود بشكل أساسي إلى NNs المتكررة. جلبتها شبكات الطرق السريعة إلى التغذية الأمامية NNs.