A Judge Should Know What Changed:Construct Validity for LLM-as-a-Judge Evaluation
Автори: Jianlin Chen, Wenhui Chen, Ziyao Lin, Chi Man Vong
Видання / Джерело: arXiv (2026)
Стандартні метрики узгодженості суддів є недостатніми, оскільки вони не здатні розрізнити надійну інваріантність та фундаментальну сліпоту щодо вимірюваного конструкту.
Головне з роботи
- Надійність (інваріантність) і валідність (чутливість) є незалежними вимірами; стабільний суддя може бути повністю невалідним.
- Судді демонструють значну асиметрію чутливості, легше виявляючи розширення сфери охоплення твердження, ніж збільшення сили його аргументації.
- Висока узгодженість між суддями та існуючими наборами міток часто є артефактом витоку походження даних, а не свідченням розуміння конструкту.
- Потужність валідації, а не «сира» узгодженість, має бути основною метрикою для оцінювання бенчмарків.
- Розробники систем оцінювання повинні використовувати перевірені людиною редагування, що змінюють конструкт, замість того, щоб вважати мітки бенчмарків істинними даними.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
LLM-as-a-judge evaluation is usually assessed by agreement and robustness to surface perturbations, but reliability does not establish construct validity. We formalize construct validity for an evaluator as a two-dimensional profile: invariance S, the probability that a verdict is unchanged under construct-preserving edits, and construct sensitivity R, the probability that it changes under minimal construct-changing edits. We show that S and R are independent and that no scalar summary preserves all relevant comparisons. We measure the profile across 7 judges and 4 domains using 7 construct-changing intervention types and 5 register-only controls, with intervention direction determined by human annotators and generation, verification, and judging assigned to disjoint model families. At matched invariance S >= 0.90, judges average S = 0.945 but R = 0.319. Sensitivity also differs between scope and strength edits: R_scope = 0.383 versus R_strength = 0.262, a +0.121 gap with the same sign for all 7 judges. We further audit five public label sets and find that surface-only predictors reproduce 55%-67% of labels in paired mode, including 67.4% of MT-Bench human votes. These results show that high judge agreement can coexist with weak sensitivity to changes in the construct being evaluated, motivating joint reporting of invariance and sensitivity and auditing the validation set itself.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Надає методологію для кількісної оцінки валідності оцінювання в контекстах, де використовуються LLM.
- Пропонує фреймворк (S, R) для оцінювання справедливості та чутливості інструментів автоматизованого оцінювання.
- Вказує на ризики використання наборів даних, що містять витоки походження (provenance-tainted), для валідації ШІ-рейтингів.
Методологія та вибірка
У дослідженні протестовано 7 окремих сімейств ШІ-суддів у 4 предметних областях. Було використано 478 проанотованих людиною елементів (288 зі зміною конструкту, 190 зі збереженням конструкту), що включали 12 типів втручань. Анотування проводилося трьома незалежними експертами для забезпечення високого рівня узгодженості (0,75+). Базові показники включали 5 публічних наборів міток (RewardBench, RM-Bench, HelpSteer2, MT-Bench).
Чому варто прочитати
Ця робота пропонує суворий вимірювально-теоретичний фреймворк, який змушує галузь вийти за межі спрощених метрик «узгодженості суддів». Вона представляє практичний інструментарій для розробників систем оцінювання, що дозволяє перевірити, чи дійсно їхні системи автоматичного оцінювання є чутливими до конструкту, який вони намагаються виміряти.
Головні твердження та перевірені цитати
Немає верифікованих цитат для цієї статті.
Обмеження та особливості дослідження
- Декомпозиція «сфера охоплення/сила аргументації» не є вичерпним переліком способів, якими наукове твердження може виходити за межі наявних доказів.
- Дослідження зосереджено на специфічності наукових тверджень і може не повною мірою стосуватися інших галузей оцінювання.
- Форма прогнозування потужності валідації по осях залишається неперевіреною на існуючих публічних наборах даних.
- суперечить Об'єднання сфери охоплення та сили аргументації в один вимір є теоретичним припущенням, яке спростовується поточними результатами. «We treat the unification as a hypothesis with a stated refutation condition, and it does not survive.», с. 1, абз. 9
- [Method / Вимірювання]: Стандартні бенчмарки плутають абсолютні та відносні властивості у своїх мітках, що призводить до хибної інтерпретації потужності валідації.