Detection of two-way outliers in multivariate data and application to cheating detection in educational tests
Автори: Yunxiao Chen, Yan Lu, Irini Moustaki
Видання / Джерело: The Annals of Applied Statistics (2022)
Баєсівська модель двостороннього виявлення аномалій одночасно ідентифікує скомпрометовані тестові завдання та недобросовісних учасників, використовуючи дані про час відповіді для підвищення точності виявлення під час ліцензійних іспитів.
Головне з роботи
- Модель з двома латентними класами одночасно ідентифікує як окремих порушників, так і скомпрометовані завдання.
- Інтеграція даних про час відповіді разом із бінарними показниками правильності значно покращує ефективність виявлення.
- Метод не потребує попередніх знань про те, які саме завдання скомпрометовані, на відміну від багатьох існуючих індексів відповідності особи (person-fit indices).
- Складені правила прийняття рішень (локальні FDR/FNR) дозволяють адміністраторам балансувати між наслідками хибнопозитивних та хибнонегативних результатів.
- Результати слід розглядати як сповіщення для перевірки, оскільки параметричні припущення можуть не повністю виконуватися в усіх реальних умовах тестування.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
The paper proposes a new latent variable model for the simultaneous (two-way) detection of outlying individuals and items for item-response-type data. The proposed model is a synergy between a factor model for binary responses and continuous response times that captures normal item response behaviour and a latent class model that captures the outlying individuals and items. A statistical decision framework is developed under the proposed model that provides compound decision rules for controlling local false discovery/nondiscovery rates of outlier detection. Statistical inference is carried out under a Bayesian framework for which a Markov chain Monte Carlo algorithm is developed. The proposed method is applied to the detection of cheating in educational tests, due to item leakage, using a case study of a computer-based nonadaptive licensure assessment. The performance of the proposed method is evaluated by simulation studies.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Корисно для моделювання цілісності тестування в умовах компрометації завдань.
- Надає складний підхід до виявлення DIF у моделях з латентними змінними.
- Пропонує чіткі вказівки щодо контролю частоти помилок при прийнятті рішень про маркування у високоважливих іспитах з використанням локального FDR.
Методологія та вибірка
Набір даних складається з 1624 учасників та 170 завдань неадаптивного комп'ютерного ліцензійного іспиту. Дослідження оцінює запропоновану баєсівську ієрархічну модель, яка об'єднує дані про відповіді та час їх надання, у порівнянні зі скороченою моделлю, що використовує лише дані про відповіді. Валідація частково проводилася на основі 41 позначеного порушника та 64 скомпрометованих завдань, ідентифікованих через зовнішнє розслідування.
Чому варто прочитати
Ця стаття пропонує математично строгий підхід до «двосторонньої» природи компрометації тестів (порушники та «злиті» завдання), що є критичним, але часто ігнорованим аспектом валідності оцінювання в неконтрольованих або високоважливих середовищах. Інтеграція часу відповіді як виміру для виявлення аномальної поведінки є надзвичайно актуальною для сучасних цифрових платформ оцінювання.
Головні твердження та перевірені цитати
Орієнтовний переклад: “Як показано за допомогою нашого аналізу реальних даних та симуляційних досліджень, включення інформації про час відповіді може підвищити точність виявлення викидів.”* (машинний переклад) — 10.1214/21-aoas1564, с. 5, абз. 11 (exact)
Обмеження та особливості дослідження
- Нерепрезентативна вибірка: не згадано в тексті
- Надійність моделі чутлива до коректності специфікації базової психометричної моделі (наприклад, припущень моделі Раша).
- Результати класифікації базуються на частковій істині (мітках розслідувань), які можуть містити помилки.
- Метод MCMC, хоч і потужний, вимагає ретельного налаштування та є обчислювально інтенсивнішим за стандартні IRT-аналізи.
- Параметричні припущення щодо біваріатного нормального розподілу здібностей та швидкості можуть порушуватися в деяких популяціях.
- [метод / операційний дефіцит]: У той час як існуючі методи покладаються на відомі підмножини скомпрометованих завдань, ця стаття демонструє, що спільна ієрархічна модель може виявляти ці статуси ендогенно.