С нетерпением жду выпуска DailyBench! DailyBench — это автоматизированный 4-кратный ежедневный бенчмарк, который оценивает API передовых моделей на форке HELMLite. Я создал DailyBench, чтобы выяснить, можем ли мы обнаружить, как поставщики моделей квантизируют веса, сжимают kv-cache или меняют модели в периоды пиковых нагрузок.