Agreement Metrics for LLM-as-Judge Evaluation: What to Report and Why
Автори: Delip Rao, Chris Callison-Burch
Видання / Джерело: arXiv (2026)
Невисловлені рішення щодо обробки пропущених елементів можуть змінити заявлену точність оцінювача рубрики мовної моделі на тридцять п'ять відсоткових пунктів.
Головне з роботи
- П'ять популярних метрик бінарної згоди — Пірсона, Спірмена, Кендалла, фі та MCC — є математично ідентичними, тому звітування про кілька коефіцієнтів пропонує нуль підтверджуючих доказів.
- Виключення утримань завищує видиму точність і залишає продуктивність повного набору ідентифікованою лише в межах різкого інтервалу, такого ж широкого, як пропущена частка.
- Макро-усереднення критеріїв рубрики проти мікро-об'єднання рішень може змінити скориговану на випадковість згоду в чотири рази на однакових результатах оцінювання.
- Публікація повних таблиць помилок два на два та маргінальних базових показників є обов'язковою для діагностики того, чи є суддя на основі мовної моделі систематично поблажливим чи суворим.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
Whether a rubric-based LLM judge can replace human annotation is decided by its measured agreement with human labels. Yet the same verdicts can support wildly varying agreement numbers, depending on seemingly minor choices: the judgment scale, the retained cases, the handling of abstentions and invalid outputs, and the pooling of verdicts across items and rubric criteria. The statistics that settle these choices are established, but in psychometrics, econometrics, and corpus annotation rather than in the evaluation practice that needs them. We treat the choices as a measurement protocol that fixes what the reported number estimates before any metric is computed, assemble the relevant results into a single source-attributed analysis, and apply it to three published LLM-judge evaluations. For non-degenerate binary verdicts, Pearson's $r$, Spearman's $ρ$, Kendall's $τ_b$, the phi coefficient, and the Matthews correlation coefficient are exactly the same statistic, so reporting several repeats one number under different names. Cohen's $κ$ differs from them only through a marginal-mismatch factor in $(0,1]$ and shares their asymptotic variance when judge and human assign the positive verdict equally often. Under exclusion, accuracy over all cases is pinned down only to a worst-case interval as wide as the uncovered fraction. On a rubric benchmark carrying per-criterion human labels, protocol choice alone moves reported accuracy from $0.551$ to $0.899$ and carries $κ$ across zero, without altering a single verdict. We distill the analysis into a reporting checklist that makes agreement claims reconstructible and comparable.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Безпосередньо інформує психометричну валідність мовних моделей як оцінювачів та автоматизованих оцінювачів рубрик в оцінюванні вищої освіти.
- Надає кількісні межі та статистичні поправки на дрейф експертів, упередженість поблажливості та вибіркове утримання при заміні штучним інтелектом людських оцінювачів.
- Забезпечує формальний контрольний список протоколу вимірювання, узгоджений з Кейном, для захисту інтерпретації балів автоматизованого оцінювання.
Методологія та вибірка
Теоретичний доказ еквівалентності метрик, асимптотичні виведення дельта-методу, межі часткової ідентифікації Манскі та повторний аналіз трьох опублікованих емпіричних наборів даних: (1) 2238 парних порівнянь самопереваги людина-GPT-4 від Wataoka та ін. (2024); (2) 4718 тестових пар, що оцінюють каскад суддів з утриманням від Jung та ін. (2025); та (3) 2007 рішень щодо критеріїв у 223 діалогах людина-ШІ, оцінених за 9 критеріями рубрики людьми та GPT-3.5-turbo-16k від Hashemi та ін. (2024).
Чому варто прочитати
Це забезпечує суттєве психометричне обґрунтування для автоматизованого оцінювання та систем мовних моделей як суддів, викриваючи, як опубліковані метрики згоди можуть маніпулюватися до 35 відсоткових пунктів через рутинні рішення попередньої обробки.
Головні твердження та перевірені цитати
Орієнтовний переклад: “За умов виключення точність для всіх випадків визначається лише найгіршим інтервалом, ширина якого дорівнює нерозкритій частці.”* (машинний переклад) — 10.48550/arxiv.2606.00093, с. 1, абз. 17 (exact)
Обмеження та особливості дослідження
- Немає змагального тестування: не згадано в тексті
- Лише одна мова: не згадано в тексті
- Огляд літератури з 24 робіт був описовим, невичерпним і закодованим одним автором без незалежних перевірок надійності між кодерами.
- Межі ідентифікації в замкненій формі виведено для точності, тоді як межі для інших метрик вимагають повного комбінаторного перерахунку за прихованими таблицями спряженості.
- Аналіз не оцінює валідність конструкту поза межами згоди з єдиним людським еталоном.
- Корегування кластерного повторного вибірки рекомендуються для ієрархічних критеріїв у межах елементів, але не були формально змодельовані в кількох пулах людських експертів.
- підтримує За номінальної незгоди на повних панелях суддів альфа Кріппендорфа та каппа Фляєса відрізняються лише фактором корекции для скінченної вибірки. «That Do is the complement of Fleiss’ observed agreement, and that the expected disagreements differ only by this factor, are established by Artstein and Poesio (2008).», с. 10, абз. 32
- [метрика / концептуальна плутанина]: Література з автоматизованого освітнього оцінювання часто розглядає каппа Коена та кореляцію Пірсона/Спірмена як незалежні докази згоди експертів, тоді як для бінарних критеріїв рубрики вони мають спільні чисельники і відрізняються лише маргінальною невідповідністю.
- [метод / пропущена змінна]: Дослідження, що порівнюють автоматизовані оцінювачі на основі мовних моделей із професорами-людьми, регулярно опускають неоцінювані або відхилені студентські роботи із заявленої точності без обчислення інтервалів ідентифікації Манскі.