BanditCAT and AutoIRT: Machine Learning Approaches to Computerized Adaptive Testing and Item Calibration
James Sharpnack, Kevin Hao, Phoebe Mulcaire, Klinton Bicknell, Geoff LaFlair, Kevin Yancey, Alina A. von Davier · arXiv (2024) · doi:10.48550/arxiv.2410.21033 · gemini-3.1-flash-lite
Суть роботи
У цій статті представлено нові методи машинного навчання для створення ефективних комп'ютерних адаптивних тестів, які потребують меншої кількості запитань для точного вимірювання здібностей студента. Поєднуючи автоматизовані моделі оцінювання зі стратегією вибору завдань, що максимізують інформацію про студента, автори доводять, що тести можуть бути значно коротшими без втрати точності. Підхід успішно протестовано на масштабних даних для практичних іспитів Duolingo English Test, що показало ефективність навіть за умови обмеженої інформації про нові запитання.
Метод і вибірка: У дослідженні використовувалися масштабні дані практичних сесій Duolingo English Test (DET). Було проведено п'ять експериментальних блоків у період між січнем і лютим 2023 року, з кількістю учасників (N) у кожній групі від приблизно 4 000 до 14 000. Досліджувані моделі включали AutoIRT (ансамбль Random Forest, LightGBM, XGBoost та CATBoost) і BanditCAT V1 (вибірка Томпсона на основі інформації Фішера). Базовими рівняннями для порівняння слугували застарілі методи фіксованої кількості завдань.
#комп'ютерне адаптивне тестування#теорія відповіді на завдання#машинне навчання#психометрія#дизайн оцінювання#контекстні бандити