Diagnosing the Reliability of LLM-as-a-Judge via Item Response Theory
Junhyuk Choi, Sohhyung Park, Chanhee Cho, Hyeonchu Park, Bugeun Kim · arXiv (2026) · doi:10.48550/arxiv.2602.00521 · gemini-3.7-flash
Суть роботи
Це дослідження перевіряє, чи можуть моделі штучного інтелекту діяти як надійні оцінювачі, застосовуючи встановлені моделі психологічного тестування до автоматизованих підказок для оцінювання. Дослідники виявили, що жодна окрема модель ШІ не оцінює послідовно за всіма критеріями оцінювання, а незначні зміни підказок можуть істотно змінити оцінки. Хоча більші моделі оцінюють текст надійніше за наявності чітких критеріїв, оцінювачі зображень на базі ШІ часто вимірюють зовсім інші риси, ніж людські оцінювачі.
Метод і вибірка: Психометрична оцінка з використанням моделі градуйованої відповіді теорії тестування (GRM; 2PL для бінарних елементів), підігнаної через PyMC із семплером NUTS (4 ланцюги, 1000 розігрівів, 1000 ітерацій семплювання). Оцінювання використовувало 7 моделей (Gemini 2.5 Flash, GPT-4o, GPT-4o-mini, Qwen3-30B, Qwen3-235B, LLaMA-4-Maverick, LLaMA-4-Scout), перевірених на бенчмарках NLP (SummEval, TopicalChat, HelpSteer-2) та зорових бенчмарках (ImageHub/VIEScore на підмножинах CIG, MIE та TIE) за трьох збурень підказок (одружка, новий рядок, парафраз) порівняно з базовими лініями анотацій людини.
#Теорія тестування#LLM як арбітр#Градуйована модель відповіді#Автоматизоване оцінювання#Надійність оцінювача#Валідність конструкту#Стійкість підказок