DailyBenchをリリースできることを嬉しく思います!DailyBench は、HELMLite のフォークでフロンティア モデル API を評価する自動化された 4 倍の日次ベンチマークです。私は、ピーク負荷時にモデルプロバイダーが重みを量子化したり、kvキャッシュを圧縮したり、モデルを交換したりすることを検出できるかどうかを確認するためにDailyBenchを構築しました。