psychometric_modeling

Estimating LLM Grading Ability and Response Difficulty in Automatic Short Answer Grading via Item Response Theory

Автори: Longwei Cong, Sonja Hahn, Sebastian Gombert, Leon Camus, Hendrik Drachsler, Ulf Kroehne
Видання / Джерело: arXiv (2026)

Мовні моделі з однаковою загальною точністю оцінювання можуть суттєво розходитися під час перевірки складних, семантично неоднозначних студентських відповідей.

Головне з роботи

Мовні моделі з подібною сукупною точністю демонструють суттєву різницю у своїй стійкості до складних студентських відповідей.
На відповідях високої складності ШІ-екзаменатори за умов семантичної неоднозначності систематично колапсують у бік проміжної частково правильної мітки.
Складність оцінювання сильно корелює із семантичною розсинхронізацією, протиріччями щодо еталонних відповідей та ізоляцією у просторі ембеддингів.
Моделі теорії реакції тестового комплексу надійно відокремлюють здатність ШІ до оцінювання від складності відповіді, полегшуючи вибіркове спрямування на перевірку людиною в контурі.

Суть дослідження (TL;DR)

Простими словами Словами дослідження

Стандартні тестові бали приховують той факт, чи дає збій штучний інтелект-екзаменатор під час зіткнення зі складними або неоднозначними відповідями студентів. Застосовуючи теорію психометричного тестування для оцінювання ШІ-екзаменаторів, це дослідження показує, що навіть найкращі моделі зазнають колапсу на складних відповідях, за замовчуванням обираючи частково правильні мітки. Цей фреймворк забезпечує інтерпретований спосіб визначення того, які студентські відповіді потребують перевірки людиною, а не автоматизованого оцінювання.

Автоматизоване оцінювання коротких відповідей зазвичай спирається на сукупні метрики, які приховують зміни точності моделей на завданнях різної складності. Щоб вирішити цю проблему, автори застосовують одновимірну теорію реакції тестового комплексу (testlet response theory), розглядаючи 17 мовних моделей із відкритими вагами як екзаменаторів, а відповіді студентів — як тестові завдання в межах двох наукових бенчмарків. Результати показують, що моделі з подібною загальною продуктивністю демонструють помітно відмінні нахили деградації на складних відповідях, що систематично призводить до колапсу проміжних міток у бік частково правильної неповної категорії.

Анотація авторів (оригінал)

Automated short answer grading (ASAG) with large language models (LLMs) is commonly evaluated with aggregate metrics such as macro-F1 and Cohen's kappa. However, these metrics provide limited insight into how grading performance varies across student responses of differing grading difficulty. We introduce an evaluation framework for LLM-based ASAG based on item response theory (IRT), which models grading correctness as a function of latent grader ability and response grading difficulty. This formulation enables response-level analysis of where LLM graders succeed or fail and reveals robustness differences that are not visible from aggregate scores alone. We apply the framework to 17 open-weight LLMs on the SciEntsBank and Beetle benchmarks. The results show that even models with similar overall performance differ substantially in how sharply their grading accuracy declines as response difficulty increases. In addition, confusion patterns show that errors on difficult responses concentrate disproportionately on the \texttt{partially\_correct\_incomplete} label, indicating a tendency toward intermediate-label collapse under ambiguity. To characterize difficult responses, we further analyze semantic and linguistic correlates of estimated difficulty. Across both datasets, higher difficulty is associated with weaker semantic alignment to the reference answer, stronger contradiction signals, and greater semantic isolation in embedding space. Overall, these results show that item response theory offers a useful framework for evaluating LLM-based ASAG beyond aggregate performance measures.

Переклад анотації не надається.

Оцінка за критеріями якості та релевантності

Новизна

7.0/10

Методологічна строгість

8.5/10

Інженерні контрзаходи

6.5/10

Виклик консенсусу

6.0/10

Тематична відповідність

9.0/10

Тематична релевантність для освітян

Надає формальний психометричний фреймворк моделювання (IRT / теорія реакції тестового комплексу) для оцінювання LLM як оцінювачів у завданнях з конструюванням відповідей.
Демонструє, як вимірювати складність завдань і відповідей для виявлення систематичного спотворення оцінювача та колапсу міток.
Пропонує емпіричну методологію для аудиту стійкості оцінювання за допомогою ШІ та структурування вибіркового оцінювання з участю людини в контурі.

Методологія та вибірка

Емпіричне психометричне моделювання з використанням одновимірної моделі теорії реакції тестового комплексу через регуляризований мінус логарифма правдоподібності (L-BFGS) для 17 відкритих LLM (від 0.8B до 14B параметрів: Gemma, Qwen, Phi, Llama, Ministral, OpenChat) на бенчмарках SciEntsBank і Beetle із 5 варіантами вибору (SemEval-2013 Task 7). Демографічні дані студентів включають бакалаврські/тьюторські наукові відповіді з корпусів бенчмарків; оцінювання є детермінованим із жадібним декодуванням (temperature=0).

Чому варто прочитати

Ця стаття безпосередньо поєднує психометричну теорію реакції на завдання та генеративне оцінювання за допомогою ШІ. Вона переносить оцінювання LLM як автоматизованих екзаменаторів від грубої загальної точності до тонкого вимірювального фреймворку, показуючи, як і чому ШІ-оцінювачі зазнають невдачі на неоднозначних відповідях студентів, сформульованих самостійно.

Головні твердження та перевірені цитати

Моделі з подібною загальною точністю демонструють суттєво відмінні нахили деградації на різних рівнях складності відповідей.

Оригінал: “The results show that even models with similar overall performance differ substantially in how sharply their grading accuracy declines as response difficulty increases.”
Орієнтовний переклад: “Результати показують, що навіть моделі з подібною загальною продуктивністю суттєво відрізняються за тим, наскільки різко знижується їхня точність оцінювання зі зростанням складності відповіді.”^{* (машинний переклад)} — 10.48550/arxiv.2605.00238, с. 1, абз. 7 (exact)

Висока складність відповідей змушує екзаменатори на базі LLM непропорційно помилково класифікувати відповіді до категорії частково правильних.

Оригінал: “In addition, confusion patterns show that errors on difficult responses concentrate disproportionately on the partially_correct_incomplete label, indicating a tendency toward intermediate-label collapse under ambiguity.”
Орієнтовний переклад: “Крім того, патерни плутанини показують, що помилки у складних відповідях не пропорційно концентруються на мітці partially_correct_incomplete, що вказує на тенденцію до згортання проміжних міток за умов амбівалентності.”^{* (машинний переклад)} — 10.48550/arxiv.2605.00238, с. 1, абз. 7 (exact)

Складність відповіді послідовно пов'язана з меншим семантичним перекриттям та суперечністю еталона, а не з базовою поверхневою довжиною. перебільшення

Оригінал: “Across both datasets, higher difficulty is associated with weaker semantic alignment to the reference answer, stronger contradiction signals, and greater semantic isolation in embedding space.”
Орієнтовний переклад: “Для обох накладів даних вища складність пов'язана зі слабшим семантичним вирівнюванням з еталонною відповіддю, сильнішими сигналами суперечності та більшою семантичною ізоляцією у просторі ембедингів.”^{* (машинний переклад)} — 10.48550/arxiv.2605.00238, с. 1, абз. 7 (exact)

Обмеження та особливості дослідження

Єдиний детектор: не згадано в тексті

Оцінювання обмежене 17 мовними моделями з відкритими вагами без комерційних пропрієтарних базових рішень, таких як GPT-4 або Claude.
Аналіз обмежений двома науковими бенчмарками з використанням специфічної п'ятикомпонентної таксономії маркування.
Правильність оцінювання бінаризована в одновимірній моделі IRT, а не із застосуванням політомних формулювань IRT для багатокласових типів помилок.
Аналіз кореляційних ознак характеризує властивості складності без встановлення глибинних причинно-следчих механізмів.

З тексту статті (цитата перевірена)

підтримує Сукупні метрики затьмарюють складність завдань та стійкість моделей в оцінюванні НЛП. «Prior work shows that benchmark-level averages can obscure substantial variation in item properties such as difficulty and discriminability, while offering limited separability among strong models (Lalor et al., 2016, 2018).», с. 2, абз. 10
підтримує Теорія реакції на завдання ефективно моделює латентні здібності екзаменаторів та екземпляри оцінювання. «Prior work has shown that IRT can support more informative evaluation in NLP when benchmark instances vary substantially in difficulty (Lalor et al., 2016, 2018).», с. 1, абз. 12

Висновок моделі (прогалини та суперечності)

[метрика / методологічна пропускна ланка]: Сукупні метрики ASAG (точність, F1, квадратично зважена каппа) приховують специфічні для моделей показники помилок на граничних випадках та неоднозначних відповідях студентів.
[визначення / концептуальна суперечність]: Розгляд складності як невіддільної властивості студентського тексту, а не як артефакту впевненості LLM, забезпечує інтерпретований якір для триажу з участю людини в контурі.

#теорія реакції на завдання #автоматизоване оцінювання коротких відповідей #LLM як оцінювачі #теорія реакції тестового комплексу #зміщення оцінювача #валідність вимірювання