psychometric_modeling

Evaluating Large Language Models through Multidimensional Item Response Theory: A Comprehensive Case Study on ENEM

Автори: L. Taschetto, Renato Fileto
Видання / Джерело: Brazilian Symposium in Information and Human Language Technology (2025)

Чиста точність тесту приховує масові прогалини в навичках мовних моделей, які багатовимірна теорія відповідей на завдання легко виявляє в різних предметних областях.

Головне з роботи

Точність у вигляді сирого відсотка спотворює можливості моделі, оскільки однаково розглядає вгадування, легкі пункти та складні питання з високою дискримінативністю.
Багатовимірна теорія відповідей на завдання розділяє компетенції моделі за різними академічними доменами, викриваючи серйозні кількісні дефіцити в моделях із високою загальною точністю.
Коваріація між доменами перезважує оцінки прихованої професійності порівняно з ізольованими одновимірними моделями, караючи за нерівномірну продуктивність моделі.

Суть дослідження (TL;DR)

Простими словами Словами дослідження

Оцінювання моделей штучного інтелекту на стандартизованих тестах шляхом підрахунку правильних відповідей приховує їхні реальні сильні та слабкі сторони. Використовуючи ту саму психометричну модель оцінювання, яка застосовується до абітурієнтів, дослідники виявили, що моделі ШІ з ідентичними загальними балами можуть відрізнятися на цілу оцінку за буквенною шкалою з математики. Це показує, що стандартна точність тестів дає освітянам оманливу картину можливостей ШІ.

Оцінювання великих мовних моделей на стандартних тестах за допомогою чистої точності приховує справжні профілі навичок, оскільки воно однаково зважує легкі та складні запитання й ігнорує вгадування. Використовуючи офіційні калібрування теорії відповідей на завдання (IRT) з бразильського іспиту високих ставок ENEM, автори застосували одновимірні та чотиривимірні 3-параметричні логістичні моделі до десяти базових моделей поряд із 665 421 кандидатом-людиною. Результати демонструють, що моделі з майже ідентичною загальною точністю розходяться більш ніж на одне стандартне відхилення у специфічних предметних компетенціях, особливо в математиці.

Анотація авторів (оригінал)

LLM evaluations on tasks like high-stakes multidisciplinary tests still rely on raw accuracy, a metric that weights easy and difficult questions equally and ignores guessing. To help bridge this methodological gap, we repurpose the official three-parameter logistic Item Response Theory (IRT) calibration that the Brazilian education authority (INEP) uses to score humans on the Exame Nacional do Ensino Médio (ENEM), and apply it to LLM responses. We then fit a four-dimensional 3-PL model aligned with ENEM’s knowledge domains. Results show that similar accuracies can mask proficiency gaps exceeding one standard deviation across domains. Mathematics remains the toughest domain for both humans and models, whereas questions on Human Sciences are systematically easier for both.

Переклад анотації не надається.

Оцінка за критеріями якості та релевантності

Новизна

7.0/10

Методологічна строгість

8.0/10

Інженерні контрзаходи

6.5/10

Виклик консенсусу

7.0/10

Тематична відповідність

8.5/10

Тематична релевантність для освітян

Безпосередньо моделює продуктивність LLM за допомогою теорії відповідей на завдання (3-PL одновимірної та багатовимірної), надаючи емпіричні інструменти для виявлення вразливих до ШІ екзаменаційних завдань.
Ілюструє, як шкали психометричного калібрування можуть об'єднати екзаменованих людей та штучних агентів у єдиний континуум латентних рис.
Надає кількісні докази того, що сукупні бали на рівні тесту не проходять структурні та субстантивні аспекти валідності Мессіка, коли LLM є тими, хто складає тести.

Методологія та вибірка

Психометрична оцінка 10 LLM (DeepSeek R1, DeepSeek V3, GPT-4o, O1, O3, Llama 4 Maverick, Llama 4 Scout, GPT-4o Mini, O3 Mini, O4 Mini) на 358 завданнях іспитів ENEM за 2022 та 2023 роки (по 45 завдань на домен: Математика, Природничі науки, Гуманітарні науки, Мови; 2 завдання анульовано). LLM оцінювалися в умовах few-shot та ланцюжка міркувань (chain-of-thought), що дало 19 332 відповіді на рівні завдань (54 конфігурації). Калібрування базової лінії людей використовувало мікродані ENEM від 665 421 кандидата, які складали ідентичні коди буклетів. Латентні риси оцінювалися за допомогою одновимірного IRT 3-PL та чотирифакторної багатовимірної IRT (MIRT) моделі 3-PL за допомогою квазімонтекарлівського очікування-максимізації в пакеті 'mirt' мови R.

Чому варто прочитати

Ця стаття забезпечує прямий, методологічно суворий психометричний міст між освітніми вимірюваннями та бенчмаркінгом генеративного штучного інтелекту. Для фахівців з оцінювання та університетських екзаменаторів вона наочно демонструє, чому сирі результати тестів не проходять аргумент валідності Кейна при оцінюванні LLM, і доводить, як 3-PL багатовимірна теорія відповідей на завдання може діагностувати специфічну для доменів продуктивність LLM та вразливість завдань в умовах високих ставок.

Головні твердження та перевірені цитати

Ідентична сира точність на стандартизованих іспитах може приховувати прогалини в предметній компетентності, що перевищують одне стандартне відхилення.

Оригінал: “Results show that similar accuracies can mask proficiency gaps exceeding one standard deviation across domains.”
Орієнтовний переклад: “Результати показують, що подібна точність може приховувати прогалини в рівнях володіння, які перевищують одне стандартне відхилення між доменами.”^{* (машинний переклад)} — 10.5753/stil.2025.37846, с. 1, абз. 4 (exact)

Для більшості моделей та екзаменаційних доменів оцінена латентна здатність є нижчою, ніж точність, проєктована на ту саму шкалу.

Оригінал: “For most models and domains, the ability score (Θ) is lower than the respective accuracy projected in the same scale.”
Орієнтовний переклад: “Для більшості моделей і доменів бал здібності (Θ) є нижчим за відповідну точність, проеційовану в тій самій шкалі.”^{* (машинний переклад)} — 10.5753/stil.2025.37846, с. 9, абз. 1 (exact)

Найефективніші LLM на ENEM потрапляють до першого процентиля екзаменованих людей.

Оригінал: “Once raw accuracies are projected onto the ENEM proficiency scale, top-tier models (e.g.,O3) cluster within the top one human percentile”
Орієнтовний переклад: “Після проекціювання сирої точності на шкалу володіння ENEM моделі вищого рівня (наприклад, O3) групуються в межах першого процентиля людей”^{* (машинний переклад)} — 10.5753/stil.2025.37846, с. 9, абз. 5 (exact)

Обмеження та особливості дослідження

Мала вибірка: немає

Оцінювання обмежувалося завданнями з множинним вибором і не включало компонент есе з вільними відповідями іспиту ENEM.
Жадібне декодування (greedy decoding) було зафіксовано на нульовій температурі, що виключає стохастичну варіативність відповідей.
Аналіз був чітко зосереджений на завданнях португальською мовою з адміністрацій ENEM 2022 та 2023 років.

З тексту статті (цитата перевірена)

підтримує Попередні оцінки IRT для LLM на тестах при вступі до університету спиралися на одновимірні моделі Раша, які ігнорували дискримінативність, вгадування та багатовимірність. «Both studies relied exclusively on uni-dimensional 1-PL IRT models. However, as discussed in Section 2, the uni-dimensional IRT may not adequately capture the interdisciplinary nature of university-admission exams», с. 4, абз. 2

Висновок моделі (прогалини та суперечності)

[метрика / методологічна розбіжність]: Стандартні конвеєри бенчмаркінгу повідомляють про сиру точність, яка поєднує успішне вгадування та опанування легких питань зі справжньою латентною компетентністю у завданнях з високою дискримінативністю.
[визначення / недопредставленість конструкту]: Одновимірні психометричні моделі згортають міждисциплінарну продуктивність в одну скалярну ришу, маскуючи кросс-доменні дефіцити, такі як серйозні збої кількісних міркувань.

#теорія відповідей на завдання #багатовимірна IRT #бенчмарк LLM #ENEM #психометрія #оцінювання у вищій освіті #валідність конструкту