10年前，即 2015 年 5 月，我們發佈了第一個具有數百層（以前的 FNN 最多有幾十層）的基於梯度的非常深的前饋神經網路 （FNN）。為了克服梯度消失問題，我們的 Highway Networks 使用 @HochreiterSepp 於 1991 年首次引入的殘差連接來實現遞歸 NN （RNN） 中的恆定誤差流，通過類似於我們非常深的 LSTM RNN 的遺忘門（Gers et al.， 1999）的乘法門進行門控。高速公路 NN 是通過我以前的博士生 @rupspace 和 Klaus Greff 的工作實現的。將 Highway NN gates 設置為 1.0 實際上會得到 7 個月後發布的 ResNet。 深度學習就是關於 NN 深度的。LSTM 為遞迴 NN 帶來了基本上無限的深度;Highway Nets 將其帶到前饋 NN。