A Statistical Test for the Detection of Item Compromise Combining Responses and Response Times
Автори: Wim J. van der Linden, Dmitry I. Belov
Видання / Джерело: Journal of Educational Measurement (2022)
Об'єднання швидкості реакції та точності відповідей створює потужний, надійний статистичний метод для виявлення компрометації тестових завдань у середовищах високоризикового онлайн-тестування.
Головне з роботи
- Поєднання даних про точність відповідей та часу їх виконання значно підвищує чутливість методів виявлення скомпрометованих тестових завдань.
- Статистичний підхід демонструє високу ефективність у виявленні несанкціонованого розголошення завдань навіть за наявності невеликої кількості підозрілих учасників.
- Точність методу залежить від якості попередніх оцінок параметрів завдань і може знижуватися, якщо особи, що списують, навмисно імітують звичайний час виконання.
- Використання загального часу лише для правильних відповідей є неефективним через немонотонний характер цього показника, що підкреслює важливість вибору коректних статистичних моделей.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
Abstract A test of item compromise is presented which combines the test takers' responses and response times (RTs) into a statistic defined as the number of correct responses on the item for test takers with RTs flagged as suspicious. The test has null and alternative distributions belonging to the well‐known family of compound binomial distributions, is simple to calculate, and has results that are easy to interpret. It also demonstrated nearly perfect power for the detection of compromise with no more than 10 test takers with preknowledge of the more difficult and discriminating items in a set of empirical examples. For the easier and less discriminating items, the presence of some 20 test takers with preknowledge still sufficed. A test based on the reverse statistic of the total time by test takers with responses flagged as suspicious may seem a natural alternative but misses the property of a monotone likelihood ratio necessary to decide between a test that should be left or right sided.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Надає кількісну основу для безпеки завдань, безпосередньо застосовну до ідентифікації дрейфу параметрів завдань.
- Пропонує модель для інтеграції різнорідних потоків даних (точність і час реакції) у високоризиковому тестуванні.
- Містить чіткий приклад того, чому просте евристичне виявлення часто зазнає невдачі в психометричному моделюванні.
Методологія та вибірка
У дослідженні використано симульовані дані для N = 50 учасників тестування на кожне завдання, оцінюючи сценарії з різним рівнем складності, дискримінативності завдань та кореляції між швидкістю і здібностями. Базове порівняння проводилося між окремими тестами, заснованими лише на відповідях та лише на часі виконання, з використанням параметрів, отриманих із моделей 3PL та логнормальних моделей часу відповіді.
Чому варто прочитати
Ця робота пропонує суворе, математично обґрунтоване інженерне рішення для забезпечення безпеки завдань, що є критично важливим для збереження валідності високоризикових оцінювань у епоху масового збору тестових завдань за допомогою ШІ.
Головні твердження та перевірені цитати
Немає верифікованих цитат для цієї статті.
Обмеження та особливості дослідження
-
Немає змагального тестування:
виявлено
“test takers with preknowledge of items may be coached to pace themselves in order to avoid being detected by forensic screening.” (с. 15)
- Потужність тесту залежить від точності попередньо оцінених параметрів завдань (здібності та швидкість), що використовуються як відомі величини.
- Чутливість виявлення знижується, якщо зловмисників навчили навмисно варіювати час виконання, щоб імітувати поведінку звичайних учасників тесту.
- Дослідження базувалося на симульованих даних та припущеннях щодо частоти та поведінки осіб з попередніми знаннями, які можуть не відображати всі реальні схеми шахрайства.
- [метод / теоретичний розрив]: Автори підкреслюють, що використання леми Неймана-Пірсона вимагає знання параметрів, що є лише наближенням у практичному застосуванні.