la atención n-simplex tiene un sentido increíble debido a su honestidad: literalmente dice que puedes poner más computación en la operación de atención para obtener más ganancias: hemos visto esta tendencia tantas veces. Esto difiere de muchas afirmaciones 'sospechosas', como que puedes usar menos computación para obtener resultados similares (es decir, computación subcuadrática para igualar la computación cuadrática).
43,59K