Evaluating Large Language Models through Multidimensional Item Response Theory: A Comprehensive Case Study on ENEM
L. Taschetto, Renato Fileto · Brazilian Symposium in Information and Human Language Technology (2025) · doi:10.5753/stil.2025.37846 · gemini-3.7-flash
Суть роботи
Оцінювання моделей штучного інтелекту на стандартизованих тестах шляхом підрахунку правильних відповідей приховує їхні реальні сильні та слабкі сторони. Використовуючи ту саму психометричну модель оцінювання, яка застосовується до абітурієнтів, дослідники виявили, що моделі ШІ з ідентичними загальними балами можуть відрізнятися на цілу оцінку за буквенною шкалою з математики. Це показує, що стандартна точність тестів дає освітянам оманливу картину можливостей ШІ.
Метод і вибірка: Психометрична оцінка 10 LLM (DeepSeek R1, DeepSeek V3, GPT-4o, O1, O3, Llama 4 Maverick, Llama 4 Scout, GPT-4o Mini, O3 Mini, O4 Mini) на 358 завданнях іспитів ENEM за 2022 та 2023 роки (по 45 завдань на домен: Математика, Природничі науки, Гуманітарні науки, Мови; 2 завдання анульовано). LLM оцінювалися в умовах few-shot та ланцюжка міркувань (chain-of-thought), що дало 19 332 відповіді на рівні завдань (54 конфігурації). Калібрування базової лінії людей використовувало мікродані ENEM від 665 421 кандидата, які складали ідентичні коди буклетів. Латентні риси оцінювалися за допомогою одновимірного IRT 3-PL та чотирифакторної багатовимірної IRT (MIRT) моделі 3-PL за допомогою квазімонтекарлівського очікування-максимізації в пакеті 'mirt' мови R.
#теорія відповідей на завдання#багатовимірна IRT#бенчмарк LLM#ENEM#психометрія#оцінювання у вищій освіті#валідність конструкту