Încântat să lansez DailyBench! DailyBench este un benchmark automat de 4x zilnic care evaluează API-urile modelului de frontieră pe o bifurcație de HELMLite. Am construit DailyBench pentru a vedea dacă putem detecta furnizorii de modele care cuantifică greutățile, comprimă cache-ul kv sau schimbă modelele în timpul încărcărilor de vârf.
25,46K