Na 2 jaar van iteratie op grote schaal, hier is alles wat we geleerd hebben over het ontwikkelen van Fluid. De meest wenselijke (maar schijnbaar moeilijkste te bereiken) eigenschap van een computersysteem is *efficiënte en voorspelbare prestaties op elke schaal*. Serverless, zoals geïntroduceerd door Lambda, had een ongebruikelijke set van afwegingen. Het heeft het potentieel voor koude starts in productie, wat een no-go is. Wat minder bekend is, is dat het de achilleshiel van servers heeft opgelost: lawaaierige buren, congestie en inadequate load balancing. Dit deed het tegen enorme kosten (1 "computer" per gelijktijdig verzoek), maar het was glorieuze. Ik vergelijk dit soms met jou en je vriend die na het werk naar hetzelfde restaurant gaan, op hetzelfde moment, maar jullie beiden Uber XL's bestellen. Je zult een geweldige ervaring hebben, maar het is verspilling. Toen we Fluid bouwden, wilden we de taart hebben en deze ook opeten. Ik ben vooral blij met ons algoritme dat 'elke beschikbare zitplaats in de auto' gebruikt (geweldig voor AI-apps die veel wachten op tokens), maar meer computers horizontaal opstart wanneer dat nodig is. Dit is iets dat extreem moeilijk te realiseren is, zelfs voor ervaren DevOps-teams.