Dopo 2 anni di iterazioni su larga scala, ecco tutto ciò che abbiamo imparato sull'ingegneria di Fluid. La proprietà più desiderabile (ma apparentemente la più difficile da raggiungere) di un sistema di calcolo è *prestazioni efficienti e prevedibili a qualsiasi scala*. Il serverless, come pionierato da Lambda, aveva un insieme insolito di compromessi. Ha il potenziale per avvii a freddo in produzione, il che è inaccettabile. Ciò che è meno noto, però, è che ha risolto il tallone d'Achille dei server: vicini rumorosi, congestione e bilanciamento del carico inadeguato. Lo ha fatto a un costo enorme (1 "computer" per richiesta concorrente), ma è stato glorioso. A volte lo confronto con te e il tuo amico che lasciate il lavoro per andare nello stesso ristorante esatto, alla stessa ora, ma ordinate entrambi Uber XL. Avrete un'esperienza fantastica, ma è uno spreco. Quando abbiamo costruito Fluid, volevamo avere la botte piena e la moglie ubriaca. Sono particolarmente soddisfatto del nostro algoritmo che utilizza 'ogni posto disponibile nell'auto' (ottimo per le app AI che aspettano molto sui token), ma avvia più computer orizzontalmente secondo necessità. Questo è qualcosa di estremamente difficile da ottenere, anche per team DevOps esperti.
Vercel
Vercel29 lug, 07:16
Fluid rende possibile l'invio di carichi di lavoro AI e backend senza i problemi tipici del serverless. Previene i cold start, aggiunge supporto per lo streaming e il calcolo post-risposta, e migliora notevolmente l'efficienza dei costi. Ecco come lo abbiamo progettato.
55,17K