Hace 10 años, en mayo de 2015, publicamos las primeras redes neuronales (FNN) basadas en gradientes muy profundos con cientos de capas (las FNN anteriores tenían un máximo de unas pocas docenas de capas). Para superar el problema del gradiente de fuga, nuestras redes de autopistas utilizaron las conexiones residuales introducidas por primera vez en 1991 por @HochreiterSepp para lograr un flujo de error constante en NN recurrentes (RNN), cerradas a través de puertas multiplicativas similares a las puertas de olvido (Gers et al., 1999) de nuestra RNN LSTM muy profunda. Las NN de autopista fueron posibles gracias al trabajo de mis antiguos estudiantes de doctorado @rupspace y Klaus Greff. Establecer las puertas de la autopista NN en 1.0 nos da efectivamente el ResNet publicado 7 meses después. El aprendizaje profundo tiene que ver con la profundidad NN. Los LSTM aportaron una profundidad esencialmente ilimitada a las NN recurrentes; Highway Nets lo llevó a las NN de alimentación.