Testing for Aberrant Behavior in Response Time Modeling
Автори: Sukaesi Marianti, Jean‐Paul Fox, Marianna Avetisyan, Bernard P. Veldkamp, Jesper Tijmstra
Видання / Джерело: Journal of Educational and Behavioral Statistics (2014)
Час виконання завдань надає надійний, безперервний сигнал для ідентифікації нетипової поведінки під час тестування, яку часто не вдається виявити за допомогою категоріальних балів.
Головне з роботи
- Статистичні показники на основі правдоподібності для часу відповіді є потужними інструментами для виявлення аберантних патернів, таких як швидке вгадування або володіння інформацією про тест заздалегідь.
- Логарифмічно-нормальна RT-модель ефективно диференціює стандартну поведінку при тестуванні від різних форм аберантності.
- Моделювання сумішей дозволяє проводити надійне оцінювання параметрів, запобігаючи викривленню калібрування завдань через аберантні патерни відповідей.
- Безперервна природа даних про час відповіді надає суттєві діагностичні переваги порівняно з категоріальними даними відповідей на завдання.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
Many standardized tests are now administered via computer rather than paper-and-pencil format. In a computer-based testing environment, it is possible to record not only the test taker’s response to each question (item) but also the amount of time spent by the test taker in considering and answering each item. Response times (RTs) provide information not only about the test taker’s ability and response behavior but also about item and test characteristics. This study focuses on the use of RTs to detect aberrant test-taker responses. An example of such aberrance is a correct answer with a short RT on a difficult question. Such aberrance may be displayed when a test taker or test takers have preknowledge of the items. Another example is rapid guessing, wherein the test taker displays unusually short RTs for a series of items. When rapid guessing occurs at the end of a timed test, it often indicates that the test taker has run out of time before completing the test. In this study, Bayesian tests of significance for detecting various types of aberrant RT patterns are proposed and evaluated. In a simulation study, the tests were successful in identifying aberrant response patterns. A real data example is given to illustrate the use of the proposed person-fit tests for RTs.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Важливо для моделювання нетрадиційної поведінки в цифровому оцінюванні.
- Надає базову лінію для оцінки впливу ШІ на розподіли часу відповіді.
- Актуально для розробки стійких психометричних процедур за наявності спроб маніпуляцій у тестах.
Методологія та вибірка
Симуляційне дослідження з використанням N=500 та N=1000 респондентів із довжиною тесту 10 та 20 завдань. Модель була реалізована в R (пакет LNRT) та порівняна з WinBUGS і пакетом CIRT. Сценарії включали випадкову поведінку, поспішність та екстремальний час відповіді на окремі завдання з рівнями забруднення 5%, 10% та 20%.
Чому варто прочитати
Дослідження пропонує сувору баєсівську структуру для використання даних про час відповіді з метою виявлення порушень доброчесності тестування, надаючи конкретні статистичні контрзаходи проти нестандартної поведінки в цифрових середовищах.
Головні твердження та перевірені цитати
Немає верифікованих цитат для цієї статті.
Обмеження та особливості дослідження
- Мала вибірка: немає
- Частка виявлення для одиничних екстремальних значень RT зменшується зі збільшенням довжини тесту.
- Високий рівень забруднення (20%) поспішністю може викривити оцінки параметрів завдань та знизити чутливість виявлення.
- Поточна модель передбачає постійну швидкість роботи для стандартних респондентів, що може не відповідати дійсності в усіх реальних умовах.
- Метод потребує подальших досліджень щодо інтерпретації виявлених патернів у практичних середовищах тестування.
- [метод / теоретична прогалина]: Автори визнають, що хоча час відповіді допомагає виявити аберантну поведінку, він не визначає явно її причину (наприклад, списування проти неуважності), що обмежує діагностичні висновки без додаткових доказів.
🕸️ Зв'язки в дайджесті
Статті з нашого корпусу, пов'язані з цією роботою (1 крок):