Evaluating LLM-as-a-Judge Beyond Score Alignment: A Psychometric Analysis of Residual Judging Difficulty
Longwei Cong, Sonja Hahn, Sebastian Gombert, Leon Camus, Fabian Zehner, Hendrik Drachsler, Ulf Kroehne · arXiv (2026) · doi:10.48550/arxiv.2610.02877 · gemini-3.1-flash-lite
Суть роботи
ШІ-судді часто збігаються з оцінками людей у середньому, але це дослідження показує, що вони не обов'язково мають труднощі з тими самими конкретними завданнями, що й люди. Застосувавши психометричний інструмент, дослідники виявили, що LLM та люди-експерти мають різні «сліпі зони», які залежать від конкретного завдання, наприклад, перевірка на фактичну відповідність проти оцінки зв'язності тексту. Виявлення цих розбіжностей допомагає освітянам створювати кращі системи, де люди займаються найбільш складними випадками ШІ-оцінювання.
Метод і вибірка: Дослідження аналізує 1600 системних резюме з набору даних SummEval, оцінених за чотирма вимірами (зв'язність, послідовність, плинність, релевантність) вісьмома анотаторами. Вони порівнюються з оцінками від 17 LLM з відкритими вагами (0,8-14 млрд параметрів), включаючи моделі Llama 3, Qwen 3.5, Phi-4 та Mistral. Психометричний аналіз використовує багатофасетні моделі Раша (MFRM).
#LLM-as-a-judge#психометрика#Багатофасетна модель Раша#валідизація оцінювання#залишкова складність#співпраця людини та ШІ