DailyBench ou bench quotidien ? Parce que Jacob a vraiment travaillé sur ça 🏋️ Découvrez ce qu'il a construit :
Jacob Phillips
Jacob Phillips29 juil., 03:44
Excité de lancer DailyBench ! DailyBench est un benchmark automatisé 4 fois par jour qui évalue les API de modèles de pointe sur un fork de HELMLite. J'ai créé DailyBench pour voir si nous pouvions détecter les fournisseurs de modèles quantifiant les poids, compressant le kv-cache ou échangeant des modèles pendant les charges de pointe.
539