Latent Impact and Differential Item Functioning Analysis for Asymmetric IRT Models
Автори: Gabriel Wallin, Qi Huang
Видання / Джерело: arXiv (2026)
Врахування асиметричної поведінки завдань під час тестування дозволяє чіткіше розмежувати справжнє упередження щодо учнів та просту різницю в рівні знань.
Головне з роботи
- Асиметричні моделі IRT краще відображають емпіричні процеси відповіді, де криві характеристик завдань є асиметричними.
- Запропонований метод використовує l1-регуляризацію для одночасного оцінювання впливу на популяцію та виявлення DIF без необхідності попередніх знань про якірні завдання.
- Врахування асиметрії ICC знижує ризик помилкового приписування дистрибутивних відмінностей упередженості на рівні завдань.
- Результати DIF латентних класів слід розглядати як дослідницькі, доки вони не будуть підтверджені зовнішньою валідацією, наприклад, відомими демографічними даними.
- Фреймворк ефективно обробляє випадки, коли приналежність до групи (наприклад, стать, мовне середовище) є неспостережуваною.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
Differential item functioning (DIF) arises alongside latent population heterogeneity in many applications, and both must be accounted for when assessing measurement invariance. In many practical settings, however, the comparison groups are unobserved and anchor items are unknown. A further challenge is that item response theory models traditionally assume symmetric link functions, yet empirical response processes may exhibit substantial asymmetry. This paper proposes a general framework for jointly analysing impact and DIF under asymmetric item response models. Unobserved group differences are represented by latent classes within a mixture item response model, while item-specific shifts capture DIF effects. Assuming the number of DIF items is relatively small, an $\ell_1$-regularised estimator is used to simultaneously identify the latent classes and select DIF items without requiring observed group labels or pre-specified anchor items. A simulation study evaluates recovery of impact, item parameters, and DIF effects across a range of configurations. The method is illustrated using two empirical applications from educational testing. In one dataset, the selected model reveals both impact and item-level DIF, whereas in the other, the results indicate substantial impact but little evidence of item-level DIF.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Надає складну психометричну методологію для аналізу потенційної упередженості тестів у наборах даних, де метадані учнів (наприклад, використання ШІ порівняно з не-ШІ) можуть бути латентними.
- Пропонує строгий підхід до оцінювання параметрів за допомогою проксимальних EM-алгоритмів.
- Актуально для дискусій про валідність тестів, коли дані оцінювання спотворені неконтрольованими або технологічними чинниками.
Методологія та вибірка
Дослідження використовувало дизайн симуляції (N=500, 1000, 3000) та два емпіричні набори даних: завдання з математики TIMSS (N=605, Сінгапур/Марокко) та університетський тест з математики (N=3000). Модель використовує зв'язок комплементарного лог-логу (CLL) та латентні риси з розподілом Гумбеля.
Чому варто прочитати
Це вирішує критичну прогалину в психометриці: як виявляти упередженість тесту, коли порівнювані групи є латентними, а завдання демонструють асиметрію, поширену в складних тестах з математики. Метод пропонує надійну, регуляризовану альтернативу стандартним симетричним моделям IRT.
Головні твердження та перевірені цитати
Немає верифікованих цитат для цієї статті.
Обмеження та особливості дослідження
- Лише одна мова: не згадано в тексті
- Фреймворк наразі не надає довірчих інтервалів або формальних статистичних тестів для індивідуальних ефектів DIF.
- Інтерпретація латентних класів є незведеною без зовнішньої валідації та припускає розрідженість ефектів DIF.
- Точність оцінювання структурних параметрів (σ1) суттєво не покращилася зі збільшенням розміру вибірки в симуляції.
- Модель припускає, що процес генерації даних точно відповідає специфікації CLL-Gumbel.
- [метод / теоретичне припущення]: Стаття припускає, що DIF є розрідженим для ідентифікації, що може бути помилковим, якщо DIF поширений або якщо ненульові дельта-параметри фіксують загальну невідповідність моделі, а не локальне упередження.