10 лет назад, в мае 2015 года, мы опубликовали первые работающие очень глубокие нейронные сети прямого распространения (FNN) на основе градиентов с сотнями слоев (предыдущие FNN имели максимум несколько десятков слоев). Чтобы преодолеть проблему исчезающего градиента, наши Highway Networks использовали остаточные соединения, впервые введенные в 1991 году @HochreiterSepp, чтобы достичь постоянного потока ошибок в рекуррентных нейронных сетях (RNN), управляемых мультипликативными воротами, аналогичными воротам забывания (Gers et al., 1999) нашей очень глубокой LSTM RNN. Highway NNs стали возможны благодаря работе моих бывших аспирантов @rupspace и Клауса Греффа. Установка ворот Highway NN на 1.0 фактически дает нам ResNet, опубликованную через 7 месяцев. Глубокое обучение — это все о глубине нейронных сетей. LSTM принесли по сути неограниченную глубину в рекуррентные нейронные сети; Highway Nets принесли это в нейронные сети прямого распространения.