Agreement Metrics for LLM-as-Judge Evaluation: What to Report and Why
Delip Rao, Chris Callison-Burch · arXiv (2026) · doi:10.48550/arxiv.2606.00093 · gemini-3.8-flash
Суть роботи
Коли автоматизовані штучні інтелект-оцінювачі тестуються проти людських викладачів, дослідники часто повідомляють показники згоди, які здаються заспокійливими. Однак невисловлені вибори оцінювання — наприклад, як обробляти пропущені питання або об'єднувати критерії — можуть зробити той самий штучний інтелект або дуже точним, або не кращим за випадковий вибір. Стандартизація протоколів звітування та таблиць помилок є важливою умовою перед тим, як можна буде довіряти оцінювачам на основі мовних моделей в освітньому оцінюванні.
Метод і вибірка: Теоретичний доказ еквівалентності метрик, асимптотичні виведення дельта-методу, межі часткової ідентифікації Манскі та повторний аналіз трьох опублікованих емпіричних наборів даних: (1) 2238 парних порівнянь самопереваги людина-GPT-4 від Wataoka та ін. (2024); (2) 4718 тестових пар, що оцінюють каскад суддів з утриманням від Jung та ін. (2025); та (3) 2007 рішень щодо критеріїв у 223 діалогах людина-ШІ, оцінених за 9 критеріями рубрики людьми та GPT-3.5-turbo-16k від Hashemi та ін. (2024).
#Мовна-модель-як-суддя#Автоматизоване оцінювання#Психометрія#Надійність між експертами#Валідність вимірювання#Рубрики#Межі Манскі