BanditCAT and AutoIRT: Machine Learning Approaches to Computerized Adaptive Testing and Item Calibration
Автори: James Sharpnack, Kevin Hao, Phoebe Mulcaire, Klinton Bicknell, Geoff LaFlair, Kevin Yancey, Alina A. von Davier
Видання / Джерело: arXiv (2024)
Сучасні методи машинного навчання дозволяють скоротити адаптивні тести без втрати точності завдяки оптимізації відбору запитань та мінімальному обсягу навчальних даних.
Головне з роботи
- Автоматизовані моделі машинного навчання дозволяють оцінювати психометричні параметри, використовуючи обмежені дані відповідей та характеристики контенту завдань.
- Алгоритми контекстних багаторуких бандитів ефективно оптимізують добір завдань, підвищуючи точність оцінки здібностей та контролюючи частоту використання тестів.
- Інтегрована система забезпечує надійність вимірювань, одночасно значно скорочуючи загальну кількість запитань у тесті.
- Поточна реалізація обмежена оцінюванням одновимірних здібностей та специфічними вимогами до моделей теорії відповіді на завдання.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
In this paper, we present a complete framework for quickly calibrating and administering a robust large-scale computerized adaptive test (CAT) with a small number of responses. Calibration - learning item parameters in a test - is done using AutoIRT, a new method that uses automated machine learning (AutoML) in combination with item response theory (IRT), originally proposed in [Sharpnack et al., 2024]. AutoIRT trains a non-parametric AutoML grading model using item features, followed by an item-specific parametric model, which results in an explanatory IRT model. In our work, we use tabular AutoML tools (AutoGluon.tabular, [Erickson et al., 2020]) along with BERT embeddings and linguistically motivated NLP features. In this framework, we use Bayesian updating to obtain test taker ability posterior distributions for administration and scoring. For administration of our adaptive test, we propose the BanditCAT framework, a methodology motivated by casting the problem in the contextual bandit framework and utilizing item response theory (IRT). The key insight lies in defining the bandit reward as the Fisher information for the selected item, given the latent test taker ability from IRT assumptions. We use Thompson sampling to balance between exploring items with different psychometric characteristics and selecting highly discriminative items that give more precise information about ability. To control item exposure, we inject noise through an additional randomization step before computing the Fisher information. This framework was used to initially launch two new item types on the DET practice test using limited training data. We outline some reliability and exposure metrics for the 5 practice test experiments that utilized this framework.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Висока релевантність для роботи над комп'ютерним адаптивним тестуванням та автоматизованим збиранням тестів.
- Демонструє використання машинного навчання в психометричному калібруванні.
- Надає структуру для вирішення проблеми скорочення довжини тестів без втрати валідності.
Методологія та вибірка
У дослідженні використовувалися масштабні дані практичних сесій Duolingo English Test (DET). Було проведено п'ять експериментальних блоків у період між січнем і лютим 2023 року, з кількістю учасників (N) у кожній групі від приблизно 4 000 до 14 000. Досліджувані моделі включали AutoIRT (ансамбль Random Forest, LightGBM, XGBoost та CATBoost) і BanditCAT V1 (вибірка Томпсона на основі інформації Фішера). Базовими рівняннями для порівняння слугували застарілі методи фіксованої кількості завдань.
Чому варто прочитати
Ця стаття пропонує найсучаснішу реалізацію алгоритмів контекстних бандитів у психометричному оцінюванні, надаючи практичний шаблон для викладачів і розробників, які пратять скоротити тести, зберігаючи при цьому сувору валідність на основі IRT.
Головні твердження та перевірені цитати
Орієнтовний переклад: “Ми бачимо, що нам вдалося дуже ефективно контролювати вплив, оскільки ми не спостерігали значущих змін порівняно з контрольними умовами.”* (машинний переклад) — 10.48550/arxiv.2410.21033, с. 10, абз. 6 (exact)
Обмеження та особливості дослідження
- BanditCAT V1 не виконує повну вибірку Томпсона, оскільки не здійснює вибірку параметрів завдань із апостеріорного розподілу.
- Поточна структура підтримує лише одновимірну оцінку параметрів здібностей.
- Механізми контролю вибірки специфічні для моделей IRT 2PL та 3PL і не мають узагальненого застосування.
- Дослідження оцінює практичні тести і не відображає роботу сертифікованого Duolingo English Test в оперативних умовах.
- підтримує AutoIRT є першим застосуванням AutoML для налаштування моделей IRT. «AutoIRT was introduced in Sharpnack et al. (2024) and is the first use of AutoML to fit IRT models.», с. 2, абз. 6
- підтримує Використання характеристик завдань для оцінки параметрів має історичний прецедент. «The use of item features in explanatory IRT models has a long history.», с. 3, абз. 5
- [метод / методологічне обмеження]: Автори ідентифікують розрив між їхньою реалізацією V1 та повним підходом вибірки Томпсона, зокрема нездатність здійснювати вибірку параметрів завдань, що додає невизначеності до оцінок інформації Фішера.