¿DailyBench o bench diario? Porque Jacob ha estado trabajando duro en esto 🏋️ Mira lo que ha construido:
Jacob Phillips
Jacob PhillipsHace 18 horas
¡Emocionado de lanzar DailyBench! DailyBench es un benchmark automatizado de 4 veces al día que evalúa las APIs de modelos de frontera en un fork de HELMLite. Creé DailyBench para ver si podíamos detectar a los proveedores de modelos cuantizando pesos, comprimiendo el kv-cache o intercambiando modelos durante cargas máximas.
435