Efter 2 års iteration i stor skala, här är allt vi lärde oss om att konstruera Fluid. Den mest önskvärda (men till synes svåraste att uppnå) egenskapen hos ett beräkningssystem är *effektiv och förutsägbar prestanda i valfri skala*. Serverlös som Lambda var först med hade en ovanlig uppsättning kompromisser. Det har potential för kallstarter i produktionen, vilket är en no-go. Vad som dock är mindre känt är att det löste servrarnas akilleshäl: bullriga grannar, trängsel och otillräcklig lastbalansering. Det gjorde det till enorma kostnader (1 "dator" per samtidig begäran), men det var strålande. Jag jämför ibland detta med att du och din vän lämnar jobbet för att gå till exakt samma restaurang, samtidigt, men ni båda beställer Uber XLs. Du kommer att få en fantastisk upplevelse, men det är slösaktigt. När vi byggde Fluid ville vi både ha kakan och äta den. Jag är särskilt nöjd med vår algoritm som använder "varje tillgängligt säte i bilen" (bra för AI-appar som väntar mycket på tokens), men snurrar upp fler datorer horisontellt efter behov. Detta är något oerhört svårt att få rätt, även för erfarna DevOps-team.