Tópicos em alta
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Há 10 anos, em maio de 2015, publicamos as primeiras redes neurais feedforward (FNNs) baseadas em gradiente muito profundo com centenas de camadas (as FNNs anteriores tinham no máximo algumas dezenas de camadas). Para superar o problema do gradiente de fuga, nossas Redes de Rodovias usaram as conexões residuais introduzidas pela primeira vez em 1991 por @HochreiterSepp para obter um fluxo de erro constante em NNs recorrentes (RNNs), bloqueados por portas multiplicativas semelhantes às portas esquecidas (Gers et al., 1999) de nosso RNN LSTM muito profundo. As NNs de rodovias foram possíveis graças ao trabalho de meus ex-alunos de doutorado @rupspace e Klaus Greff. Definir os portões da Highway NN para 1.0 efetivamente nos dá o ResNet publicado 7 meses depois.
O aprendizado profundo tem tudo a ver com a profundidade da NN. Os LSTMs trouxeram profundidade essencialmente ilimitada para NNs recorrentes; A Highway Nets o trouxe para as NNs feedforward.
20,69K
Melhores
Classificação
Favoritos