A Latent Variable Model with Change-Points and Its Application to Time Pressure Effects in Educational Assessment
Автори: Gabriel Wallin, Yunxiao Chen, Yi-Hsuan Lee, Xiaoou Li
Видання / Джерело: arXiv (2024)
Ця стаття презентує нову психометричну модель, яка автоматично фіксує момент, коли учень припиняє вдумливо працювати і починає вгадувати відповіді через тиск часу.
Головне з роботи
- Модель одночасно оцінює характеристики завдань, здібності студента та конкретне завдання, на якому змінюється поведінка учня.
- Врахування поведінкових змін, таких як поспішне вгадування, значно зменшує зміщення в оцінках здібностей, особливо для тих, хто складає тест під тиском часу.
- Результати симуляції свідчать про те, що ігнорування точок зміни призводить до систематичного завищення оцінки здібностей студента.
- Модель пропонує підхід на основі даних для вибору найбільш відповідного моменту в тесті, коли поведінка може почати змінюватися.
- Підхід ефективно використовує оцінювання за емпіричним Байєсом для вирішення складної взаємозалежності між прихованими рисами та точками поведінкових змін.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
Educational assessments are valuable tools for measuring student knowledge and skills, but their validity can be compromised when test takers exhibit changes in response behavior due to factors such as time pressure. To address this issue, we introduce a novel latent factor model with change-points for item response data, designed to detect and account for individual-level shifts in response patterns during testing. This model extends traditional Item Response Theory (IRT) by incorporating person-specific change-points, which enables simultaneous estimation of item parameters, person latent traits, and the location of behavioral changes. We evaluate the proposed model through extensive simulation studies, which demonstrate its ability to accurately recover item parameters, change-point locations, and individual ability estimates under various conditions. Our findings show that accounting for change-points significantly reduces bias in ability estimates, particularly for respondents affected by time pressure. Application of the model to two real-world educational testing datasets reveals distinct patterns of change-point occurrence between high-stakes and lower-stakes tests, providing insights into how test-taking behavior evolves during the tests. This approach offers a more nuanced understanding of test-taking dynamics, with important implications for test design, scoring, and interpretation.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Надає складну психометричну модель для виявлення загроз валідності в оцінюванні.
- Пропонує структуру для розрізнення справжньої успішності від стратегічних змін у виконанні.
- Корисно для моделювання впливу неконтрольованих або стресових (через час) середовищ на валідність тестів.
Методологія та вибірка
Симуляційне дослідження використовувало вибірку з 1000 респондентів та 30 завдань, з різними частками респондентів, що поспішали (15%, 30% та 47,5%). Було проаналізовано два реальні набори даних: набір 1 містив 2568 респондентів, які відповідали на 28 завдань, набір 2 (не деталізований у наданому уривку). Метод використовує базову модель 2-PL IRT, розширену змінною прихованої точки зміни, що керується дискретною моделлю небезпеки (hazard model).
Чому варто прочитати
Ця робота надає суворий, багаторазовий обчислювальний інструментарій для виявлення дисперсії в результатах тестів, що не пов'язана з конструктом — критична проблема для підтримки валідності сучасних, потенційно неконтрольованих або обмежених за часом оцінювань. Вона пропонує освітянам та психометристам прямий, математично обґрунтований шлях до підвищення справедливості через відокремлення справжніх здібностей від шуму стратегій проходження тесту.
Головні твердження та перевірені цитати
Орієнтовний переклад: “Наші результати показують, що врахування точок зміни (change-points) значно зменшує зміщення в оцінках здібностей, особливо для респондентів, на яких вплинув дефіцит часу.”* (машинний переклад) — 10.48550/arxiv.2410.22300, с. 1, абз. 16 (exact)
Обмеження та особливості дослідження
- Нерепрезентативна вибірка: не згадано в тексті
- Єдиний детектор: не згадано в тексті
-
Немає змагального тестування:
виявлено
“For all of our simulations, we consider the change-point 2-PL model in (6) and (7).” (с. 12)
- Лише одна мова: не згадано в тексті
- Поточна реалізація передбачає одновимірну приховану рису.
- Оцінювання вимагає ітеративної чисельної оптимізації (наприклад, квазі-Ньютона), оскільки рішення у замкненій формі не існує.
- Обчислювальна складність зростає разом із кількістю потенційних місць розташування точок зміни.
- Вибір моделі залежить від вибору інформаційних критеріїв та визначеного діапазону потенційних точок зміни.
- Результати симуляції свідчать про те, що точність локалізації точок зміни нижча для змін на початку тесту порівняно з тими, що відбуваються пізніше.
- [метод / методологічна прогалина]: Хоча стаття розглядає зміни в поведінці, вона зосереджена переважно на тиску часу. Незрозуміло, чи здатна ця модель прихованих змінних розрізняти свідоме «поспішне вгадування» через дефіцит часу та використання сторонньої допомоги або шахрайство.