Reducing Differential Item Functioning via Process Data
Автори: Ling Chen, Susu Zhang, Jingchen Liu
Видання / Джерело: arXiv (2025)
Аналіз цифрових слідів дій учнів дозволяє математично нейтралізувати упередженість тестових завдань та забезпечити об'єктивне оцінювання знань.
Головне з роботи
- Використання даних про процес виконання завдань для моделювання небажаних ознак ефективно мінімізує диференційне функціонування завдань та підвищує точність оцінювання параметрів.
- Запропонований підхід демонструє стійкість у різних психометричних моделях, включаючи лінійну регресію та багатовимірні логістичні моделі.
- Метод потребує попередньої ідентифікації завдань-якорів, що на практиці може призвести до чутливості результатів до похибок оцінювання.
- Застосування корекцій на основі даних про процес може ненавмисно вплинути на загальну надійність або точність вимірювання цільового показника.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
Testing fairness is a major concern in psychometric and educational research. A typical approach for ensuring testing fairness is through differential item functioning (DIF) analysis. DIF arises when a test item functions differently across subgroups that are typically defined by the respondents' demographic characteristics. Most of the existing research has focused on the statistical detection of DIF, yet less attention has been given to reducing or eliminating DIF and understanding why it occurs. Simultaneously, the use of computer-based assessments has become increasingly popular. The data obtained from respondents interacting with an item are recorded in computer log files and are referred to as process data. Process data provide valuable insights into respondents' problem-solving strategies and progress, offering new opportunities for DIF analysis. In this paper, we propose a novel method within the framework of generalized linear models (GLMs) that leverages process data to reduce and understand DIF. Specifically, we construct a nuisance trait surrogate with the features extracted from process data. With the constructed nuisance trait, we introduce a new scoring rule that incorporates respondents' behaviors captured through process data on top of the target latent trait. We demonstrate the efficiency of our approach through extensive simulation experiments and an application to thirteen Problem Solving in Technology-Rich Environments (PSTRE) items from the 2012 Programme for the International Assessment of Adult Competencies (PIAAC) assessment.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Надає масштабовану, кількісну структуру для роботи зі спотвореннями на рівні окремих пунктів тесту.
- Демонструє використання корекції латентних рис для покращення валідності цифрового оцінювання.
- Пропонує надійну методологію для ідентифікації та інтерпретації небажаної поведінки під час комп'ютерного тестування.
Методологія та вибірка
У дослідженні використано набір даних PIAAC за 2012 рік, а саме 13 завдань на вирішення проблем у технологічно насиченому середовищі (PSTRE) за участю 8 398 респондентів. Симуляційні експерименти перевіряли розміри вибірки (N) 200, 500 та 1000 у 18 умовах (з варіюванням ефекту DIF та частки пунктів), використовуючи лінійні факторні моделі та моделі M2PL IRT.
Чому варто прочитати
Ця робота пропонує строге, обчислювальне рішення для стійкої психометричної проблеми: зменшення зміщення тестів завдяки використанню дедалі доступніших детальних даних процесу, що є критично важливим для підтримання валідності оцінювання в цифрову епоху.
Головні твердження та перевірені цитати
Немає верифікованих цитат для цієї статті.
Обмеження та особливості дослідження
- Єдиний детектор: не згадано в тексті
- Впровадження сурогатної перешкодної ознаки потенційно може знизити загальну надійність вимірювання або інформацію Фішера цільової ознаки.
- Метод потребує попередньої ідентифікації «якірних» пунктів, вільних від DIF, що може бути складним завданням і бути чутливим до помилок оцінювання.
- Поточна реалізація припускає лінійні зв'язки між характеристиками процесу та перешкодною ознакою, хоча можливі нелінійні розширення.
- [Methodology / теоретичний розрив]: Хоча автори зазначають, що нелінійні зв'язки можуть моделюватися нейронними мережами, поточні емпіричні результати базуються виключно на лінійних комбінаціях ознак.