Обычно LLM оцениваются с помощью автоматических метрик на стандартных тестовых наборах, но метрики и тестовые наборы разрабатываются независимо. Это поднимает важный вопрос: можем ли мы разработать автоматические метрики, которые будут особенно эффективны на тех тестовых наборах, которые мы приоритизируем? Ответ: Да!