Diagnosing the Reliability of LLM-as-a-Judge via Item Response Theory
Автори: Junhyuk Choi, Sohhyung Park, Chanhee Cho, Hyeonchu Park, Bugeun Kim
Видання / Джерело: arXiv (2026)
Теорія тестування показує, що автоматизовані оцінювачі на базі LLM можуть виглядати поверхнево узгодженими, але страждати від серйозних прогалин валідності конструкту.
Головне з роботи
- Жодна з оцінених передових моделей не досягла прийнятної внутрішньої стабільності вимірювання за всіма критеріями оцінювання.
- Детальні інструкції щодо критеріїв та підказки з ланцюжком міркувань стабілізують узгодженість підказок, тоді як коригування категорій шкали оцінювання підвищує маргінальну надійність.
- Більший масштаб параметрів моделі систематично покращує стійкість підказок для завдань обробки природної мови, але не переноситься на мультимодальне оцінювання.
- В оцінюванні мовних завдань LLM зазвичай демонструють невідповідності калібрування, які можна перемасштабувати, тоді як мультимодальні арбітри мають серйозні прогалини валідності конструкту.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
While LLM-as-a-Judge is widely used in automated evaluation, existing validation practices primarily operate at the level of observed outputs, offering limited insight into whether LLM judges themselves function as stable and reliable measurement instruments. To address this limitation, we introduce a two-phase diagnostic framework for assessing reliability of LLM-as-a-Judge, grounded in Item Response Theory (IRT). The framework adopts Graded Response Model (GRM) of IRT and formalizes reliability along two complementary dimensions: (1) intrinsic consistency, defined as the stability of measurement behavior under prompt variations, and (2) human alignment, capturing correspondence with human quality assessments. We empirically examine diverse LLM judges with this framework, and show that leveraging IRT-GRM yields interpretable signals for diagnosing judgments systematically. These signals provide practical guidance for verifying reliablity of LLM-as-a-Judge and identifying potential causes of unreliability.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Безпосередньо забезпечує психометричну основу (градуйована модель відповіді теорії тестування) для розгляду генеративних LLM як експертів-оцінювачів в освітніх оцінюваннях.
- Надає дієвий діагностичний протокол (фаза 1 внутрішньої узгодженості, за якою слідує фаза 2 узгодженості з людиною) для оцінки автоматизованого оцінювання за критеріями.
- Пропонує кількісні методи для виявлення прогалин валідності конструктів та невідповідностей калібрування в автоматизованих двигунах оцінювання на основі ШІ.
Методологія та вибірка
Психометрична оцінка з використанням моделі градуйованої відповіді теорії тестування (GRM; 2PL для бінарних елементів), підігнаної через PyMC із семплером NUTS (4 ланцюги, 1000 розігрівів, 1000 ітерацій семплювання). Оцінювання використовувало 7 моделей (Gemini 2.5 Flash, GPT-4o, GPT-4o-mini, Qwen3-30B, Qwen3-235B, LLaMA-4-Maverick, LLaMA-4-Scout), перевірених на бенчмарках NLP (SummEval, TopicalChat, HelpSteer-2) та зорових бенчмарках (ImageHub/VIEScore на підмножинах CIG, MIE та TIE) за трьох збурень підказок (одружка, новий рядок, парафраз) порівняно з базовими лініями анотацій людини.
Чому варто прочитати
Для дослідників освітнього оцінювання та психометриків, які досліджують автоматизоване оцінювання есе або оцінювання на основі LLM, ця стаття забезпечує методологічно суворий міст між освітніми вимірюваннями (теорією тестування) та оцінюванням ШІ. Вона формалізує, чому висока кореляція на рівні результатів з людськими оцінками може приховувати фатальні помилки вимірювання, і пропонує конкретні діагностичні метрики (CV, маргінальну надійність, співвідношення ширини дискримінації та відстань Вассерштейна) для аудиту систем автоматизованого оцінювання перед розгортанням.
Головні твердження та перевірені цитати
Орієнтовний переклад: “У завданнях NLP (SummEval-Coherence) усі моделі демонструють монотонно зростаючі траєкторії θ, паралельні до людських.”* (машинний переклад) — 10.48550/arxiv.2602.00521, с. 8, абз. 25 (exact)
Орієнтовний переклад: “Детальніші інструкції зазвичай стабілізують узгодженість промптів ( CV ), тоді як коригування шкали впливає на надійність вимірювання ( ρ ).”* (машинний переклад) — 10.48550/arxiv.2602.00521, с. 7, абз. 14 (exact)
Обмеження та особливості дослідження
- Мала вибірка: не згадано в тексті
- Єдиний детектор: не згадано в тексті
- Фреймворк обмежений порядковими оцінками за точковою шкалою і не підтримує парні порівняння чи відкриті рубрики оцінювання.
- Збурення підказок оцінюють лише поверхневі варіації (одружки, нові рядки, синоніми), а не структурний редизайн підказок.
- Мультимодальне тестування проводилося виключно на ImageHub за допомогою VIEScore, що обмежує міжмодальну узагальнюваність.
- Формулювання GRM припускає одновимірну латентну якість за кожним критерієм і не параметризує явно упередженості оцінювача, такі як багатослівність або упередженість позиції.
- підтримує Метрики згоди на рівні результатів не гарантують, що оцінювачі LLM функціонують як надійні вимірювальні прилади. «However, agreement at the outcome level reflects similarity in evaluation results, rather than whether the judge itself functions as a reliable measurement instrument.», с. 1, абз. 12
- [метрика / концептуальний розрив]: Стандартне оцінювання NLP використовує рангову кореляцію (Спірмена/Кендалла) для заяв про узгодженість із людиною, тоді як моделювання IRT GRM демонструє, що кореляція може маскувати серйозну нечутливість латентної шкали та немонотонну дивергенцію конструктів.
- [метод / емпіричний розрив]: Методи кількісної оцінки невизначеності в оцінюванні LLM часто покладаються на лог-імовірності токенів, але IRT відокремлює параметри порогу/дискримінації на рівні елементів від латентної риси theta оцінюваного артефакту.