Rất hào hứng để phát hành DailyBench! DailyBench là một chuẩn mực tự động 4 lần mỗi ngày đánh giá các API mô hình tiên tiến trên một nhánh của HELMLite. Tôi đã xây dựng DailyBench để xem liệu chúng tôi có thể phát hiện các nhà cung cấp mô hình đang lượng tử hóa trọng số, nén kv-cache, hoặc hoán đổi mô hình trong thời gian tải cao.