A regularised latent‐class item response model for detecting measurement non‐invariance in ordinal response scales
Автори: Gabriel Wallin, Qi Huang
Видання / Джерело: British Journal of Mathematical and Statistical Psychology (2026)
Виявляйте несправедливі тестові завдання та приховані групи студентів автоматично, не маючи попередніх позначок для груп чи опорних питань.
Головне з роботи
- Запропонована модель латентних класів дозволяє виявляти диференціальне функціонування пунктів без попереднього визначення груп чи використання якірних завдань.
- Застосування L1-штрафу до параметрів класів допомагає вирішити проблему ідентифікованості, особливо при виявленні нерівномірних патернів відповідей.
- Результати моделювання свідчать, що кількість завдань у тесті суттєво впливає на точність класифікації респондентів та виявлення проблемних пунктів.
- Метод має обмеження, пов'язані з припущенням про розрідженість даних для вибору моделі та відсутністю формальних процедур статистичної перевірки гіпотез.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
Abstract Measurement non‐invariance arises when the psychometric properties of a scale differ across subgroups, undermining the validity of group comparisons. At the item level, this manifests as differential item functioning (DIF), where item responses differ across groups after controlling for the latent trait. This paper develops a framework for detecting DIF in ordinal scales without requiring known group labels or anchor items. We formulate a proportional‐odds latent‐class item response model in which individuals are assigned probabilistically to latent classes. DIF is captured through class‐specific intercept and slope shifts, allowing both uniform and non‐uniform DIF. Identification is achieved through an ‐penalised marginal likelihood under a sparsity assumption, with estimation implemented using a tailored EM algorithm. Because class‐specific slopes leave both the location and scale of each latent class unidentified, sparsity anchors the latent metric while selecting DIF effects. Simulation studies demonstrate accurate recovery of item parameters and both types of DIF. An empirical application to a personality test reveals latent subgroups with distinct response patterns and identifies items displaying potential class‐specific measurement non‐invariance. The framework provides a flexible approach for assessing measurement invariance in ordinal scales when comparison groups are unobserved or poorly defined.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Надає надійний кількісний метод для ідентифікації інваріантності вимірювань у масивах даних великого обсягу.
- Корисно для моделювання «латентного» шахрайства або підгруп користувачів AI, де конкретні мітки студентів недоступні.
- Демонструє, як обмеження розрідженості (l1-штрафи) можуть вирішити проблеми ідентифікації в IRT.
Методологія та вибірка
Метод використовує латентно-класову IRT-модель пропорційних шансів з l1-пеналізованою маргінальною правдоподібністю та проксимально-градієнтним EM-алгоритмом. Емпіричне дослідження аналізує дані опитувальника темпераменту Фішера (підшкала «Аналітичність/Твердість») з N = 4 967. Симуляційні дослідження перевіряють розміри вибірки N = {1000, 5000}, кількість пунктів J = {15, 25, 50} та різні пропорції латентних класів.
Чому варто прочитати
Ця стаття пропонує строге статистичне рішення проблеми «прихованих груп» у валідності оцінювання, дозволяючи дослідникам виявляти випадки, коли тестові завдання працюють непослідовно для різних латентних груп — це критично важливо для підтримання справедливості тестування в епоху, коли AI-асистоване навчання може непомітно змінювати поведінку студентів.
Головні твердження та перевірені цитати
Орієнтовний переклад: “Імітаційні дослідження демонструють точне відновлення параметрів завдань та обох типів DIF.”* (машинний переклад) — 10.1111/bmsp.70076, с. 1, абз. 15 (exact)
Обмеження та особливості дослідження
- Стандартні помилки та формальні статистичні тести не надаються для параметрів DIF через складність висновків після відбору.
- Процедура відбору моделі (з використанням BIC) покладається на припущення, що DIF є відносно рідкісним явищем серед набору пунктів (припущення про розрідженість).
- Результати латентних класів можуть не збігатися з субстантивно позначеними популяціями і потребують зовнішньої валідації.
- Обчислювальне навантаження EM-алгоритму зростає зі збільшенням кількості латентних класів та вузлів квадратури.
- Регуляризоване виявлення DIF вивчалося в багатовимірних IRT-моделях. «Regularisation-based DIF detection has also been studied in multidimensional IRT models using lasso and adaptive lasso penalties.», с. 11, абз. 43
- [метод / методологічна прогалина]: Попередні латентні DIF-моделі вимагали фіксованого набору якорів, тоді як цей підхід розглядає ідентифікацію якорів як задачу відбору змінних на основі даних.
- [метод / методологічна прогалина]: Розширює існуючі регуляризовані моделі, які зазвичай фокусуються на бінарних пунктах, для роботи з ординальними шкалами та нерівномірним DIF.