psychometric_modeling

LLM Judges as Raters: A Pre-Registered Audit of Severity, Halo, Reliability, and Version Instability in LLM Essay Scoring on Public Corpora

Автори: Veerendra Kumar Sunkavalli
Видання / Джерело: arXiv (2026)

Стандартні метрики узгодженості для ШІ-екзаменаторів приховують значні ефекти суворості оцінювання, які спотворюють результати студентів у контексті абсолютного оцінювання.

Головне з роботи

LLM-судді демонструють значні систематичні відмінності в суворості оцінювання, які повністю пропускаються стандартними статистиками узгодженості на основі рейтингів.
Оновлення версій моделей діють як значні зміни інструментарію, спричиняючи непередбачувані зсуви в стандартах оцінювання, що потребують повторного калібрування.
Проста реплікація (повторне оцінювання) покращує стабільність балів, але не покращує валідність і не наближає ШІ-екзаменатора до людських стандартів.
Калібрування відносно вибірки, закріпленої експертами-людьми, є критично важливим для ухвалення абсолютних рішень (наприклад, зарахування/незарахування) задля мінімізації помилок несправедливої класифікації.

Суть дослідження (TL;DR)

Простими словами Словами дослідження

Великі мовні моделі, що використовуються для оцінювання есе, демонструють суттєві приховані відмінності в тому, наскільки суворо вони оцінюють роботи студентів. Поширені методи оцінювання цих ШІ-екзаменаторів лише перевіряють загальну узгодженість, ігноруючи той факт, що ці моделі є нестабільними інструментами, які змінюють свої стандарти оцінювання з кожним оновленням. Освітянам слід використовувати калібрування та моніторинг замість того, щоб покладатися виключно на прості бали узгодженості при використанні ШІ для оцінювання.

Це дослідження проводить пререєстрований аудит ефектів оцінювача 12 великих мовних моделей (LLM) у ролі екзаменаторів на основі двох відкритих освітніх корпусів. Дослідження виявило, що суворість моделей є ідіосинкратичною та значною (діапазон 219 балів на шкалі 1000 балів), що фактично залишається непомітним для стандартних метрик узгодженості. Крім того, оновлення версій моделей функціонують як суттєві зміни інструментарію, що вимагають повторного калібрування абсолютних оцінок.

Анотація авторів (оригінал)

Large language models (LLMs) are increasingly used as essay graders in learning analytics, evaluated almost exclusively with agreement statistics. Educational measurement warns that raters also differ in severity, show halo, and drift as instruments. We treat LLM judges as raters and run a pre-registered rater-effects battery (many-facet Rasch severity, residual halo, generalizability/decision studies, cross-version shifts, differential functioning) on public corpora in two languages (ENEM/Essay-BR; ASAP): 2,377 essays, 12 judges, 4 providers, 5 version contrasts, replicated cells, released as a score tensor. Judge severity spans 219 points on ENEM's 0-1000 scale; on ASAP the panel spread is 15-33% of the score range against a between-trained-human gap near 1%. Judge-human correlations sit in an undiscriminating .47-.56 band. All five version contrasts shift severity beyond a family-wise permutation null (up to 133 points), and one judge was deprecated mid-study, caught by identity canaries. Two pre-registered tests returned honest nulls: severity-adjusted leaderboard reversals did not survive a permutation null, and "silent drift" was refuted: agreement moved with severity in four of five contrasts. Replication yields self-consistency (phi>=.80 at k<=2) but not human-level accuracy, and a same-instrument check overturned our own halo comparison: matched on instrument and calibration, we find no credible evidence that judge halo exceeds the trained-human range.

Переклад анотації не надається.

Оцінка за критеріями якості та релевантності

Новизна

8.0/10

Методологічна строгість

9.5/10

Інженерні контрзаходи

9.0/10

Виклик консенсусу

8.0/10

Тематична відповідність

10.0/10

Тематична релевантність для освітян

Надає методологію для аудиту автоматизованих систем оцінювання з використанням класичної психометрії (MFRM).
Встановлює шаблон для пререєстрації та моніторингу ШІ-агентів у системах відповідального тестування.
Підкреслює ненадійність комерційного версіонування моделей для поздовжніх освітніх даних.

Методологія та вибірка

Перехресний аудит ефектів оцінювача з реплікацією на 2377 есе (977 ENEM, 1400 ASAP). Використано 12 моделей-суддів від 4 провайдерів (Anthropic, Amazon, Meta, Qwen). Дослідження застосовувало багатофасетне вимірювання Раша (MFRM), теорію G та перестановні тести для виявлення дрейфу версій.

Чому варто прочитати

Це перший пререєстрований, психометрично строгий аудит LLM як екзаменаторів з використанням фреймворку перехресних ефектів оцінювача, що виходить за межі поверхових метрик узгодженості для вирішення питання валідності абсолютних оцінок.

Головні твердження та перевірені цитати

Немає верифікованих цитат для цієї статті.

Обмеження та особливості дослідження

Мова, структура рубрик та режими оцінювання людьми змішуються у міжкорпусній порівнянні, що обмежує можливість узагальнення.
Проби на забруднення даних (на основі продовження тексту) є слабкими детекторами й остаточно не доводять відсутність запам'ятовування тренувальних даних.
Висновки обмежені конкретними комерційними хостинговими API-ендпоінтами та протестованими змінними псевдонімами моделей.

Висновок моделі (прогалини та суперечності)

[метрика / концептуальний розрив]: Стаття демонструє, що метрики узгодженості (QWK/Pearson) систематично не бачать найбільший ефект оцінювача (суворість).

#психометрія #автоматизоване-оцінювання-есе #ефекти-оцінювача #валідність #LLM-суддя