Podekscytowany, aby zaprezentować DailyBench! DailyBench to zautomatyzowany benchmark 4x dziennie, który ocenia API modeli frontier na fork HELMLite. Zbudowałem DailyBench, aby sprawdzić, czy możemy wykryć dostawców modeli kwantyzujących wagi, kompresujących pamięć podręczną kv-cache lub zamieniających modele w czasie szczytowego obciążenia.
21,23K