10年前的2015年5月，我们发布了第一款具有数百层的深度基于梯度的前馈神经网络（FNNs）（之前的FNNs最多只有几十层）。为了克服消失梯度问题，我们的高速公路网络使用了1991年由@HochreiterSepp首次引入的残差连接，以实现递归神经网络（RNNs）中的恒定误差流，通过类似于遗忘门的乘法门（Gers等，1999）进行门控，这些门控在我们非常深的LSTM RNN中使用。高速公路神经网络的实现得益于我以前的博士生@rupspace和Klaus Greff的工作。将高速公路神经网络的门设置为1.0，实际上给我们带来了7个月后发布的ResNet。 深度学习的核心在于神经网络的深度。LSTM为递归神经网络带来了几乎无限的深度；高速公路网络则将其引入了前馈神经网络。