Operating characteristics of agreement metrics in AI-based scoring: a Monte Carlo simulation
Автори: Alperen Yandi
Видання / Джерело: Frontiers in Psychology (2026)
Поширені метрики надійності, такі як ICC та QWK, можуть хибно визнавати моделі оцінювання ШІ адекватними навіть за наявності систематичного упередження підгруп.
Головне з роботи
- ICC(A,1) та квадратично зважена каппа регулярно перевищують прийнятні пороги надійності навіть за наявності систематичного групового упередження.
- Ординальна альфа Кріппендорфа поводиться надмірно консервативно в умовах спотворень оцінювання ШІ, рідко досягаючи стандартних порогів адекватності.
- Реальні оцінювання за допомогою ChatGPT та Gemini есе відобразили змодельовані дефекти, включно зі значним негативним упередженням та стисненням середніх значень.
- Фреймворки автоматизованого оцінювання мають впроваджувати мультиметричну діагностику, поєднуючи метрики узгодженості з графіками різниць Бланда-Альтмана та смугами толерантності.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
Introduction: This study analyzed the threshold-exceedance performance of human and AI scoring agreement measures for scoring of open-ended items. Monte Carlo simulation was performed to represent the different types of errors encountered in automatic scoring determined by using studies in the literature. Accordingly, an examination was conducted of the agreement between human and artificial intelligence ratings under differing error conditions. The objective of the research was to ascertain the statistical power levels achieved by disparate agreement metrics under varying conditions. The objective of this research was to ascertain which metric would prove to be the most effective method, and under which conditions. Methods: Data with conditions including systematic additive bias, variance inflation, midpoint compression, class imbalance, and subgroup-related offsets. Human scores served as a reference to assess agreement. Agreement levels were evaluated with ICC(A,1), Krippendorff's α (ranked), quadratic weighted kappa (QWK), and Bland-Altman along with tolerance-based agreement metrics. Threshold-exceedance performance was defined as the proportion with which each metric surpassed conventional adequacy standards. Analyses were also conducted on real data to validate the analyses conducted in the second part of the study. In this part, written texts were scored by six different students using three teachers and two large language models. Results: ICC(A,1) shown higher threshold-exceedance performance for low and moderate variance inflation. QWK was observed to reach a moderate level of robustness. Krippendorff's a showed consistent performance, especially in conditions where the distributions were unbalanced or variance inflated. Tolerance-based fit demonstrated numerical closeness between human and AI scores. The findings showed patterns consistent with simulated impairments. Discussion: All findings indicate that fit indices vary systematically across different structural mechanisms and sampling conditions. The results suggest that different conditions can affect the interpretability of automated scores. Accordingly, the need for multi-metric assessment frameworks when assessing human-AI score fit is highlighted.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Надає пряму статистичну основу для оцінки LLM як екзаменаторів в освітньому оцінюванні.
- Демонструє психометричні методи виявлення деградації валідності, дрейфу оцінювача та диспропорцій оцінювання підгруп, спричинених генеративним штучним інтелектом.
- Висвітлює вразливості конкретних метрик під час оцінювання стійкості ШІ в оцінюванні результатів діяльності.
Методологія та вибірка
Повністю схрещене імітаційне моделювання Монте-Карло за схемою 3 x 3 x 3 x 2 x 2 x 2 в умовах 216 станів та 5000 реплікацій на комірку (1 080 000 симульованих оцінювань на метрику). Маніпульованими факторами були розмір вибірки (N = 100, 300, 1000), адитивне упередження (-0,5, 0, +0,5), дисперсія помилки ШІ (низька = 0,40, середня = 0,50, висока = 0,95), стиснення середніх значень (lambda_c = 0,40), дисбаланс класів та зсув справедливості підгруп (delta = 0,30). Реальна емпирична валідація використовувала 6 студентських есе рівня B2, оцінених за шкалою 0-70 за критеріями 3 викладачами-людьми та 2 великими мовними моделями (ChatGPT та Gemini) з 2000 ітераціями бутстрапу.
Чому варто прочитати
Ця робота кількісно демонструє, чому високі коефіцієнти міжекспертної надійності (такі як ICC або QWK >= 0.70) між викладачами-людьми та оцінювачами на основі LLM не гарантують валідного чи справедливого автоматизованого оцінювання. Для психометриків та керівників освітніх оцінювань вона надає конкретні операційні характеристики класичних метрик і пропонує дієвий мультиметричний діагностичний протокол, що включає межі узгодженості Бланда-Альтмана та індекси толерантності.
Головні твердження та перевірені цитати
Орієнтовний переклад: “ICC(A,1) та QWK показали високі показники перевищення порогових значень у нульовому сценарії. Цей результат демонструє, що звичні межі адекватності цих мірик можуть легко перевищуватися навіть за відсутності справжньої розбіжності.”* (машинний переклад) — 10.3389/fpsyg.2026.1705653, с. 16, абз. 9 (exact)
Орієнтовний переклад: “Коли розподіл оцінок штучного інтелекту перевищував варіативність оцінок людей, показник перевищення порогових значень знижувався майже до нуля для всіх мірик.”* (машинний переклад) — 10.3389/fpsyg.2026.1705653, с. 16, абз. 13 (exact)
Обмеження та особливості дослідження
-
Мала вибірка:
виявлено
“Since sample size of real data as very small, all statistics were estimated more reliably with 2000 bootstrap replication.” (с. 7)
-
Нерепрезентативна вибірка:
виявлено
“Six B2-level student essays were obtained from a previously completed instructional task.” (с. 6)
- Лише одна мова: не згадано в тексті
- Єдиний детектор: не згадано в тексті
- Немає змагального тестування: не згадано в тексті
- Симуляція припускала постійну дисперсію оцінювачів-людей, оминаючи емпіричні аномалії оцінювачів-людей, такі як ефект ореолу, дрейф суворості або взаємодія оцінювача та завдання.
- Реальний датасет валідації оцінювання був надзвичайно малим і складався лише з шести студентських есе.
- Спотворення справедливості в симуляції моделювалися як адитивний зсув фіксованої величини, а не складна взаємодія демографічних ознак і конструкту.
- підтримує Глобальні метрики узгодженості не здатні відобразити демографічні або контекстуальні групові відмінності в автоматизованому оцінюванні. «ICC(A,1) and QWK were found to have high threshold exceedance performance even when systematic subgroup biases were introduced. This revealed that these metrics have serious limitations in detecting group-level inequalities.», с. 18, абз. 8
- [метрика / концептуальна сліпа зона]: Стандартні психометричні бенчмарки для автоматизованого оцінювання есе (наприклад, QWK >= 0.70) були розроблені для керованої регресії або нейромережевих моделей, а не для генеративних LLM, які демонструють залежне від промпту стиснення середніх значень та тонкі демографічні галюцинації, які коваріаційні метрики ігнорують.