Після 2 років масштабних ітерацій ось усе, що ми дізналися про інженерну рідину. Найбажанішою (але, здавалося б, найважчою для досягнення) властивістю обчислювальної системи є *ефективна та передбачувана продуктивність у будь-якому масштабі*. Serverless, як вперше з'явилася компанія Lambda, мала незвичайний набір компромісів. Він має потенціал для холодних стартів на виробництві, що є неможливим. Але менш відомо, що він вирішив проблему ахіллесової п'яти серверів: галасливі сусіди, перевантаження та неналежне балансування навантаження. Це було зроблено за величезні кошти (1 «комп'ютер» на одночасний запит), але це було чудово. Я іноді порівнюю це з тим, що ви з вашим другом йдете з роботи, щоб піти в один і той же ресторан, в один і той же час, але ви обидва замовляєте Uber XL. Ви отримаєте дивовижний досвід, але він марнотратний. Коли ми створювали Fluid, ми хотіли мати торт і з'їсти його теж. Мені особливо подобається наш алгоритм, який використовує «кожне вільне місце в машині» (чудово підходить для додатків зі штучним інтелектом, які багато чекають на токени), але за потреби розкручує більше комп'ютерів по горизонталі. Це надзвичайно складно виправити навіть для досвідчених команд DevOps.
Vercel
Vercel29 лип., 07:16
Fluid дає змогу постачати штучний інтелект і внутрішні робочі навантаження без зайвих потреб у безсерверному сервері. Він запобігає холодному запуску, додає підтримку потокового передавання та обчислень після відповіді, а також значно підвищує економічну ефективність. Ось як ми його спроектували
55,17K