經過兩年的大規模迭代,這是我們對工程 Fluid 所學到的一切。 計算系統最理想(但似乎最難實現)的特性是 *在任何規模下都能高效且可預測的性能*。 由 Lambda 首創的無伺服器架構有一組不尋常的權衡。它在生產環境中有冷啟動的潛在問題,這是不可接受的。 然而,較少人知道的是,它解決了伺服器的致命弱點:吵鬧的鄰居、擁塞和不充分的負載平衡。 這是以巨大的代價實現的(每個並發請求需要 1 個 "計算機"),但這是輝煌的。我有時會將這與你和你的朋友一起下班去同一家餐廳,但你們都訂了 Uber XL 進行比較。你會有一個驚人的體驗,但這是浪費的。 當我們構建 Fluid 時,我們希望能兼得。我特別滿意我們的算法,它使用「車內每個可用座位」(對於在令牌上等待很多的 AI 應用非常有用),但根據需要橫向啟動更多計算機。這是即使對於經驗豐富的 DevOps 團隊來說也非常難以做到的事情。
Vercel
Vercel7月29日 07:16
Fluid 使得運送 AI 和後端工作負載變得可能,而不會遇到無伺服器的陷阱。 它防止冷啟動,增加了串流和後響應計算支持,並大幅提高了成本效率。 這就是我們如何設計它的。
55.17K