quasi_experiment

Quantifying the Statistical Effect of Rubric Modifications on Human-Autorater Agreement

Автори: Jessica Huynh, Alfredo Gomez, Athiya Deviyani, Renee Shelby, Jeffrey P. Bigham, Fernando Diaz
Видання / Джерело: arXiv (2026)

Розбиття цілісних критеріїв оцінювання на аналітичні складові не гарантує кращої узгодженості оцінок між мовними моделями та людьми-експертами.

Головне з роботи

Декомпозиція цілісних критеріїв оцінювання на аналітичні підкритерії не гарантує надійного покращення узгодженості оцінювання між мовними моделями та людьми.
Представлення аналітичних підкритеріїв в окремих викликах моделі запобігає упередженню підтвердження та суттєво підвищує узгодженість між людиною та автооцінювачем порівняно з пакетом промптів.
Надання прикладових контекстних описів оцінок обґрунтовує рішення моделі та підвищує як узгодженість із людьми, так і самоузгодженість моделі.
Висока надійність між експертами є передумовою для досягнення високої узгодженості між автоматизованими оцінювачами та людським консенсусом.

Суть дослідження (TL;DR)

Простими словами Словами дослідження

Часто вважається, що автоматизовані системи оцінювання на основі штучного інтелекту працюють краще, якщо їм надавати детальні покрокові критерії. Це дослідження показує, що розбиття критеріїв на окремі підтеми не призводить автоматично до кращої узгодженості з людськими оцінками, а інколи може навіть погіршити її. Натомість надання чітких прикладів оцінок та незалежне оцінювання підкритеріїв забезпечують значно вищу стабільність оцінювання.

Автоматизовані оцінювачі на базі великих мовних моделей дедалі частіше використовуються для автоматичного оцінювання, проте статистичний вплив представлення та модифікації критеріїв оцінювання на узгодженість між людиною та автооцінювачем залишається недостатньо дослідженим. Автори оцінили GPT-4o та Llama-3.1-70B-Instruct на основі цілісних і аналітичних критеріїв на наборах даних автоматичного оцінювання есе та дотримання інструкцій, використовуючи тау Кендалла з бутстреп-тестуванням значущості. Декомпозиція критеріїв на аналітичні компоненти не призводила до стабільного покращення узгодженості з оцінками людей, тоді як додавання обґрунтованих прикладів, надання контексту та розділення критеріїв між викликами API для зменшення упередження підтвердження суттєво покращили узгодженість.

Анотація авторів (оригінал)

Autoraters, also referred to as LLM-as-judges, are increasingly used for evaluation and automated content moderation. However, there is limited statistical analysis of how modifications in a rubric presented to both humans and autoraters affect their score agreement. Rubrics that ask for an overall or \emph{holistic} judgment - for example, rating the ``quality'' of an essay - may be inconsistently interpreted due to the complexity or subjectivity of the criteria. Conversely, rubrics can ask for \emph{analytic} judgments, which decompose assessment criteria - for example, ``quality'' into ``fluency'' and ``organization''. While these rubrics can be edited to improve the individual accuracy of both human and automated scoring, this approach may result in disagreement between the two scores, or with the associated holistic judgment. Designing and deploying reliable autoraters requires understanding not just the relationship between human and autorater annotations but how that relationship changes as holistic or analytic judgments are elicited. The results indicate that rubric edits providing representative examples and additional context, and reducing positional bias in the rubric increased human-autorater agreement, while higher rubric complexity and conservative aggregation methods tended to decrease it. The findings from the automatic essay scoring and instruction-following evaluation domains suggest that practitioners should carefully analyze domain- and rubric-specific performance to move towards higher human-autorater agreement.

Переклад анотації не надається.

Оцінка за критеріями якості та релевантності

Новизна

6.0/10

Методологічна строгість

7.5/10

Інженерні контрзаходи

6.5/10

Виклик консенсусу

7.0/10

Тематична відповідність

8.0/10

Тематична релевантність для освітян

Ключові емпіричні докази психометричної валідності при використанні великих мовних моделей як автоматичних оцінювачів есе та екзаменаторів.
Інформує керівні принципи проєктування критеріїв для оцінювання за допомогою штучного інтелекту, показуючи, що пакетне аналітичне оцінювання породжує серйозне упередження підтвердження.
Демонструє, що верхні межі надійності автоматизованих оцінювачів обмежені надійністю між експертами-людьми.

Методологія та вибірка

Оцінювання проводилося на наборах даних Automated Student Assessment Prize (ASAP, промпти 1, 4 та 6) і ASAP++ (тисячі учнівських есе, оцінених цілісно та аналітично), а також InfoBench (50 інструкцій x 5 виходів моделі = 250 випадків, оцінених 3 експертами-людьми). Протестовані моделі: gpt-4o-2024-11-20 та Llama-3.1-70B-Instruct. Базові лінії: оригінальні цілісні та аналітичні критерії без модифікацій, порівняно з пакетом, окремими та збагаченими контекстом / підібраними на прикладах промптами з використанням очікувань оцінок, зважених за лог-імовірністю, та тау Кендалла з 1000 бутстреп-вибірок.

Чому варто прочитати

Стаття пропонує суворий статистичний підхід до інжинірингу промптів для автоматизованого оцінювання, спростовуючи наївне припущення про те, що декомпозиція аналітичних критеріїв невіддільно сприяє надійності мовних моделей як суддів, та демонструючи психометричні пастки пакетного промптингу з багатьма критеріями.

Головні твердження та перевірені цитати

Декомпозиція аналітичних критеріїв не стабільно покращує узгодженість із людськими оцінками порівняно з цілісними критеріями.

Оригінал: “Analytic rubrics do not consistently outperform holistic rubrics in aligning autoraters with human judgments due to prompt complexity or aggregation methods.”
Орієнтовний переклад: “Аналітичні рубрики не завжди перевершують цілісні рубрики в узгодженні автоматичних оцінювачів із людськими судженнями через складність промпту або методи агрегації.”^{* (машинний переклад)} — 10.48550/arxiv.2605.06283, с. 8, абз. 4 (exact)

Обмеження та особливості дослідження

Нерепрезентативна вибірка: виявлено
“Second, all human annotations are drawn from existing datasets rather than collected under controlled experimental conditions for this study.” (с. 9)

Емпірична оцінка обмежувалася двома доменами (оцінювання есе та виконання інструкцій) та двома базовими моделями (GPT-4o та Llama-3.1-70B-Instruct).
Дослідження спирається на наявні вторинні набори даних із попередніми людськими оцінками, а не на збирання нових анотацій в умовах контрольованих експериментальних варіацій.
Оцінки обмежуються виключно англомовними завданнями оцінювання з високими ресурсами.

З тексту статті (цитата перевірена)

підтримує Вибір форматування промптів суттєво впливає на точність автооцінювача. «(Sclar et al., 2024) demonstrated that prompt formatting choices (e.g., separator characters, whitespace) can significantly affect task accuracy, though these effects weakly correlate across models.», с. 3, абз. 3
підтримує Оцінювання підкритеріїв в окремих розмовах збільшує узгодженість порівняно з однією розмовою. «Lee et al. (2024) has shown that using separate conversations to rate each sub-criteria tends to increase agreement over using a single conversation to rate all sub-criteria.», с. 7, абз. 5

Висновок моделі (прогалини та суперечності)

[метод / залежність агрегації]: Висновок про те, що аналітичні критерії поступаються цілісним, частково зумовлений суворим критерієм домінування за Парето, який суворо штрафує незначні розбіжності за підкритеріями.
[визначення / невідповідність конструкту]: Цілісні критерії ASAP та аналітичні ASAP++ містять неоднакові субконструкти (наприклад, правила оформлення проти розуміння аудиторії), що потенційно занижує міжкритеріальну узгодженість між людиною та автооцінювачем.

#automated_essay_scoring #LLM_as_judge #rubric_design #inter_rater_reliability #prompt_engineering #Kendall_tau