Rubrics Carry the Standard: Shapley Attribution for Checklist-Based LLM Judges
Saeid Asgari, Rui Ying, Sara Malvar, Rakshanda Agarwal, Bruce Sun, Claire Wang, Leonardo de Oliveira Nunes, Ranveer Chandra · arXiv (2026) · doi:10.48550/arxiv.2610.24971 · gemini-3.8-flash
Суть роботи
Автоматизоване оцінювання за допомогою штучного інтелекту значною мірою залежить від конкретного формулювання та правил у рубрикаторі, а не від моделі ШІ, яка виставляє оцінки. Дозвіл штучному інтелекту редагувати власний рубрикатор фактично погіршує оцінювання шляхом видалення критичних критеріїв та додавання непотрібних вимог. Поєднання теорії ігор для перевірки балів із суворим контролем перегляду запобігає мовчазному зміщенню стандартів оцінювання.
Метод і вибірка: Оцінювання проводилося на трьох тестових середовищах: Recon-72 (72 звіти: 24 правильних, 48 з дефектами у 12 синтетичних хмарних середовищах) та Recon-108 (108 звітів: 36 правильних, 72 з дефектами, включно з незапланованими пропусками); SummEdits (146 резюме з 38 розмов; 73 узгоджених); та RAGTruth (160 відповідей LLM з 40 джерел; 80 достовірних). Моделі-оцінювачі та ревізори: Claude 3.5 Haiku, Sonnet і Opus (Sonnet — суддя за замовчуванням, Opus — ревізор за замовчуванням). Базові лінії включали вердикти у вільній формі, цілісні стандарти абзаців та загальні шкали 1-5.
#LLM як суддя#автоматизоване оцінювання#дрейф рубрикатору#атриб'юція Шеплі#валідність конструкту#дрейф оцінювача#оцінювання за чек-листом