10 tahun yang lalu, pada Mei 2015, kami menerbitkan jaringan saraf feedforward berbasis gradien (FNN) pertama yang bekerja sangat dalam dengan ratusan lapisan (FNN sebelumnya memiliki maksimum beberapa lusin lapisan). Untuk mengatasi masalah gradien yang menghilang, Jaringan Jalan Raya kami menggunakan koneksi sisa yang pertama kali diperkenalkan pada tahun 1991 oleh @HochreiterSepp untuk mencapai aliran kesalahan konstan dalam NN berulang (RNN), yang dijaga melalui gerbang perkalian yang mirip dengan gerbang lupa (Gers et al., 1999) dari LSTM RNN kami yang sangat dalam. Highway NN dimungkinkan melalui karya mantan mahasiswa PhD saya @rupspace dan Klaus Greff. Mengatur gerbang Highway NN ke 1.0 secara efektif memberi kita ResNet yang diterbitkan 7 bulan kemudian. Pembelajaran mendalam adalah tentang kedalaman NN. LSTM pada dasarnya membawa kedalaman tak terbatas ke NN berulang; Highway Nets membawanya ke feedforward NN.