n-simplex 注意力是非常合理的,因為它的誠實:它字面上表示你可以在注意力操作上投入更多的計算資源以獲得更多的收益:我們已經看到這種趨勢很多次了。 這與許多 "可疑" 的說法不同,例如你可以使用更少的計算資源來達到相似的效果(即,使用次線性計算來匹配二次計算)。
43.61K