10 anni fa, a maggio 2015, abbiamo pubblicato i primi reti neurali feedforward (FNN) molto profonde basate su gradienti, con centinaia di strati (i precedenti FNN avevano un massimo di alcune dozzine di strati). Per superare il problema del gradiente che svanisce, le nostre Highway Networks utilizzavano le connessioni residue introdotte per la prima volta nel 1991 da @HochreiterSepp per ottenere un flusso di errore costante nelle reti neurali ricorrenti (RNN), controllato attraverso porte moltiplicative simili alle porte di dimenticanza (Gers et al., 1999) del nostro LSTM RNN molto profondo. Le Highway NNs sono state rese possibili grazie al lavoro dei miei ex studenti di dottorato @rupspace e Klaus Greff. Impostare le porte della Highway NN a 1.0 ci dà effettivamente il ResNet pubblicato 7 mesi dopo. L'apprendimento profondo riguarda tutto la profondità delle reti neurali. Gli LSTM hanno portato una profondità essenzialmente illimitata alle RNN; le Highway Nets l'hanno portata alle FNN.