Popularne tematy
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
Po 2 latach iteracji na dużą skalę, oto wszystko, czego nauczyliśmy się o inżynierii Fluid.
Najbardziej pożądaną (choć wydającą się najtrudniejszą do osiągnięcia) cechą systemu obliczeniowego jest *efektywna i przewidywalna wydajność na każdej skali*.
Serverless, jak zapoczątkowane przez Lambda, miało niezwykły zestaw kompromisów. Ma potencjał do zimnych startów w produkcji, co jest niedopuszczalne.
Mniej znane jest to, że rozwiązało problem pięty achillesowej serwerów: hałaśliwych sąsiadów, zatorów i niewystarczającego równoważenia obciążenia.
Zrobiło to za ogromną cenę (1 "komputer" na równoczesne żądanie), ale było wspaniałe. Czasami porównuję to do sytuacji, gdy ty i twój przyjaciel wychodzicie z pracy, aby pójść do tej samej restauracji w tym samym czasie, ale obaj zamawiacie Uber XL. Będziecie mieli niesamowite doświadczenie, ale to marnotrawstwo.
Kiedy budowaliśmy Fluid, chcieliśmy mieć ciastko i zjeść ciastko. Jestem szczególnie zadowolony z naszego algorytmu, który wykorzystuje 'każde dostępne miejsce w samochodzie' (świetne dla aplikacji AI, które długo czekają na tokeny), ale uruchamia więcej komputerów poziomo w miarę potrzeb. To coś niezwykle trudnego do osiągnięcia, nawet dla doświadczonych zespołów DevOps.

29 lip, 07:16
Fluid umożliwia wysyłanie obciążeń AI i backendowych bez pułapek związanych z serverless.
Zapobiega zimnym startom, dodaje wsparcie dla strumieniowania i obliczeń po odpowiedzi oraz znacznie poprawia efektywność kosztową.
Oto jak to zaprojektowaliśmy.
55,17K
Najlepsze
Ranking
Ulubione