Po 2 latach iteracji na dużą skalę, oto wszystko, czego nauczyliśmy się o inżynierii Fluid. Najbardziej pożądaną (choć wydającą się najtrudniejszą do osiągnięcia) cechą systemu obliczeniowego jest *efektywna i przewidywalna wydajność na każdej skali*. Serverless, jak zapoczątkowane przez Lambda, miało niezwykły zestaw kompromisów. Ma potencjał do zimnych startów w produkcji, co jest niedopuszczalne. Mniej znane jest to, że rozwiązało problem pięty achillesowej serwerów: hałaśliwych sąsiadów, zatorów i niewystarczającego równoważenia obciążenia. Zrobiło to za ogromną cenę (1 "komputer" na równoczesne żądanie), ale było wspaniałe. Czasami porównuję to do sytuacji, gdy ty i twój przyjaciel wychodzicie z pracy, aby pójść do tej samej restauracji w tym samym czasie, ale obaj zamawiacie Uber XL. Będziecie mieli niesamowite doświadczenie, ale to marnotrawstwo. Kiedy budowaliśmy Fluid, chcieliśmy mieć ciastko i zjeść ciastko. Jestem szczególnie zadowolony z naszego algorytmu, który wykorzystuje 'każde dostępne miejsce w samochodzie' (świetne dla aplikacji AI, które długo czekają na tokeny), ale uruchamia więcej komputerów poziomo w miarę potrzeb. To coś niezwykle trudnego do osiągnięcia, nawet dla doświadczonych zespołów DevOps.
Vercel
Vercel29 lip, 07:16
Fluid umożliwia wysyłanie obciążeń AI i backendowych bez pułapek związanych z serverless. Zapobiega zimnym startom, dodaje wsparcie dla strumieniowania i obliczeń po odpowiedzi oraz znacznie poprawia efektywność kosztową. Oto jak to zaprojektowaliśmy.
55,17K