Vi är glada över att kunna släppa DailyBench! DailyBench är ett automatiserat 4x dagligt riktmärke som utvärderar gränsmodell-API:er på en förgrening av HELMLite. Jag byggde DailyBench för att se om vi kunde upptäcka modellleverantörer som kvantifierar vikter, komprimerar kv-cachen eller byter modeller under toppbelastningar.