Rubrics Carry the Standard: Shapley Attribution for Checklist-Based LLM Judges
Автори: Saeid Asgari, Rui Ying, Sara Malvar, Rakshanda Agarwal, Bruce Sun, Claire Wang, Leonardo de Oliveira Nunes, Ranveer Chandra
Видання / Джерело: arXiv (2026)
Вміст рубрикатору, а не модель, яка його оцінює, диктує суворість балів, а автоматизований самоперегляд приховано погіршує стандарти оцінювання.
Головне з роботи
- Суворість оцінювання зумовлена майже виключно пунктами чек-листа рубрикатору, а не вибором моделі-судді чи форматом подання.
- Неконтрольований самоперегляд LLM призводить до серйозного дрейфу рубрикатору шляхом нав'язування незапрошених вимог та видалення критеріїв широкого охоплення.
- За умови оцінювання «все-повинно-бути-пройдено» атриб'юція Шеплі для кожного пункту має точний аналітичний розв'язок, який обчислюється за лінійний час.
- Контроль переглядів шляхом поєднання перевірок провини за помилковий збій за Шеплі із заморожуванням походження захищає валідність оцінювання в різних моделях.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
Checklist rubrics applied by large language model (LLM) judges have become a standard instrument for evaluating open-ended outputs and for rewarding them during training. Two assumptions surround this practice: that leniency or strictness is a property of the judge model, and that a rubric can be improved by asking a model to review it. We test both in a controlled grading task with planted flaws and on two human-labeled datasets, SummEdits and RAGTruth. Holding the judge and the outputs fixed, rubric content moves the pass rate of correct outputs from 2% to 100%, whereas changing the judge model or the rendering of the same checks moves it by a few points. Model self-review then drifts the rubric toward the reviser's own standard: it adds requirements the task never stated and deletes checks that human labels had taught, with three reviser models and on all three datasets. To measure and control this, we show that under all-must-pass aggregation the Shapley value of each check has an exact closed form, which yields per-check catch credit, false-fail blame and unique catches in linear time. Attribution shows that self-review deletes the checks that do unique work and keeps the checks that cause false fails. A change-control gate that combines these quantities with a provenance freeze on label-derived checks holds nearly every drifting revision chain at its starting quality, with identical decisions under three judge models.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Безпосередньо моделює дрейф автоматизованого оцінювача та представлення конструкту в умовах рубрик оцінювання генеративного штучного інтелекту.
- Надає формальну декомпозицію Шеплі у замкнутій формі для рубрик оцінювання за чек-листами з метою оцінки надійності оцінювача та атрибуції помилок.
- Застерігає розробників оцінювання від використання неконтрольованих циклів самовдосконалення ШІ для генерації або вдосконалення рубрик оцінювання.
Методологія та вибірка
Оцінювання проводилося на трьох тестових середовищах: Recon-72 (72 звіти: 24 правильних, 48 з дефектами у 12 синтетичних хмарних середовищах) та Recon-108 (108 звітів: 36 правильних, 72 з дефектами, включно з незапланованими пропусками); SummEdits (146 резюме з 38 розмов; 73 узгоджених); та RAGTruth (160 відповідей LLM з 40 джерел; 80 достовірних). Моделі-оцінювачі та ревізори: Claude 3.5 Haiku, Sonnet і Opus (Sonnet — суддя за замовчуванням, Opus — ревізор за замовчуванням). Базові лінії включали вердикти у вільній формі, цілісні стандарти абзаців та загальні шкали 1-5.
Чому варто прочитати
Для дослідників та психометриків, які розгортають LLM як автоматизованих експертів або оцінювачів елементів, ця робота спростовує поширене припущення про те, що сила моделі-судді або жорсткість промпту контролюють м'якість оцінювача. Вона доводить, що рубрикатори у вигляді чек-листів фундаментально кодують стандарт конструкту, забезпечує точне лінійне формулювання Шеплі для відстеження помилок оцінювача до окремих критеріїв та пропонує дієві інженерні бар'єри для зупинки автоматизованого дрейфу рубрикатору.
Головні твердження та перевірені цитати
Орієнтовний переклад: “Стандарт, який застосовує оцінювач, записаний у змісті рубрикатора; суддя здебільшого виконує його, а неконтрольований перегляд моделі змінює його.”* (машинний переклад) — 10.48550/arxiv.2610.24971, с. 1, абз. 11 (exact)
Орієнтовний переклад: “Атрибуція показує, що самоперевірка видаляє перевірки, які виконують унікальну роботу, і залишає перевірки, які спричиняють хибні невдачі.”* (машинний переклад) — 10.48550/arxiv.2610.24971, с. 1, абз. 8 (exact)
Обмеження та особливості дослідження
- Єдиний детектор: не згадано в тексті
- Усі моделі суддів, авторів та ревізорів належали до одержаного сімейства моделей (Claude), хоча оцінювані тексти в RAGTruth надходили від зовнішніх LLM.
- Розміри вибірок у конкретних експериментальних підмножинах були невеликими (від 24 до 36 правильних звітів та від 8 до 12 незапланованих пропусків на одне порівняння).
- Контроль оцінювання передбачав локальну незалежність між пунктами чек-листа під час відтворення матриць відповідей із кешу.
- Зіставлення текстової подібності під час контролю перегляду інколи помилково класифікувало переписані перевірки як абсолютно нові доповнення.
- підтримує Текст рубрикатору сам по собі прогнозує мітки судді у HealthBench та ResearchRubrics. «Bagaria et al. [2] report that rubric text alone predicts judge labels on HealthBench and ResearchRubrics, consistent with the rubric carrying the standard.», с. 2, абз. 13
- підтримує Редагування рубрикатору із збереженням критеріїв може суттєво змінити вподобання судді LLM у цільових доменах. «Ding et al. [6] show that criterion-preserving rubric edits that pass standard validation can shift a judge’s preferences on target domains by up to 27.9% and that the shift propagates through alignment», с. 3, абз. 6
- підтримує Самоперегляд LLM стикається з труднощами без сигналу зовнішнього еталона істинних даних. «That self-review fails without an external signal echoes results on self-correction in reasoning [13] and contrasts with the gains reported for self-refinement of outputs [19].», с. 3, абз. 6
- [метрика / метрика]: Стандартна точність бенчмарку на незбалансованих наборах даних про дефекти маскує серйозну дисфункцію рубрикатору; звітування про збалансовану точність або відокремлення правильного проходження від виявлених дефектів є суттєвим.
- [метод / методологічний]: Цикли самокорегування LLM не забезпечують збереження валідності конструкту в умовах оцінювання, оскільки моделі генерують тестові приклади, які поділяють їхні власні систематичні похибки.