LLM Judges as Raters: A Pre-Registered Audit of Severity, Halo, Reliability, and Version Instability in LLM Essay Scoring on Public Corpora
Veerendra Kumar Sunkavalli · arXiv (2026) · doi:10.48550/arxiv.2608.29517 · gemini-3.1-flash-lite
Суть роботи
Великі мовні моделі, що використовуються для оцінювання есе, демонструють суттєві приховані відмінності в тому, наскільки суворо вони оцінюють роботи студентів. Поширені методи оцінювання цих ШІ-екзаменаторів лише перевіряють загальну узгодженість, ігноруючи той факт, що ці моделі є нестабільними інструментами, які змінюють свої стандарти оцінювання з кожним оновленням. Освітянам слід використовувати калібрування та моніторинг замість того, щоб покладатися виключно на прості бали узгодженості при використанні ШІ для оцінювання.
Метод і вибірка: Перехресний аудит ефектів оцінювача з реплікацією на 2377 есе (977 ENEM, 1400 ASAP). Використано 12 моделей-суддів від 4 провайдерів (Anthropic, Amazon, Meta, Qwen). Дослідження застосовувало багатофасетне вимірювання Раша (MFRM), теорію G та перестановні тести для виявлення дрейфу версій.
#психометрія#автоматизоване-оцінювання-есе#ефекти-оцінювача#валідність#LLM-суддя