После 2 лет итераций в масштабе, вот все, что мы узнали о проектировании Fluid. Самое желаемое (но, казалось бы, самое труднодостижимое) свойство вычислительной системы — это *эффективная и предсказуемая производительность на любом масштабе*. Serverless, как его представил Lambda, имел необычный набор компромиссов. Он имеет потенциал для холодных стартов в производстве, что неприемлемо. Однако менее известно, что он решил ахиллесову пяту серверов: шумные соседи, перегрузка и недостаточное распределение нагрузки. Это было сделано с огромными затратами (1 "компьютер" на каждый одновременный запрос), но это было великолепно. Я иногда сравниваю это с тем, как вы и ваш друг покидаете работу, чтобы пойти в один и тот же ресторан в одно и то же время, но оба заказываете Uber XL. У вас будет потрясающий опыт, но это расточительно. Когда мы создавали Fluid, мы хотели и торт, и съесть его. Я особенно доволен нашим алгоритмом, который использует 'каждое доступное место в машине' (отлично для AI-приложений, которые долго ждут токены), но запускает больше компьютеров горизонтально по мере необходимости. Это то, что крайне сложно сделать правильно, даже для опытных команд DevOps.