Identifying Causes of Test Unfairness: Manipulability and Separability
Автори: Youmi Suk, Weicong Lyu
Видання / Джерело: arXiv (2026)
Ця стаття замінює двозначні ярлики групового зміщення на фреймворк каузальної декомпозиції, який виокремлює конкретні, піддані виправленню характеристики завдань, що спотворюють валідність тесту.
Головне з роботи
- Декомпозиція незмінних демографічних показників на керовані фактори дозволяє встановлювати причинно-наслідкові зв'язки у функціонуванні тестових завдань.
- Результати моделювання свідчать, що використання причинно-наслідкових лісів та баєсових дерев забезпечує ефективніше виявлення джерел упередженості порівняно з традиційними методами.
- Запропонований підхід надає інструменти для діагностичного вдосконалення тестів, визначаючи нерелевантні чинники, такі як рівень володіння лексикою, як причини розривів у результатах.
- Метод має обмеження, зокрема необхідність відсутності прихованих змішувальних факторів та стабільність оцінок здібностей для точної діагностики.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
Differential item functioning (DIF) is a widely used statistical notion for identifying items that may disadvantage specific groups of test-takers. These groups are often defined by non-manipulable characteristics, e.g., gender, race/ethnicity, or English-language learner (ELL) status. While DIF can be framed as a causal fairness problem by treating group membership as the treatment variable, this invokes the long-standing controversy over the interpretation of causal effects for non-manipulable treatments. To better identify and interpret causal sources of DIF, this study leverages an interventionist approach using treatment decomposition proposed by Robins and Richardson (2010). Under this framework, we can decompose a non-manipulable treatment into intervening variables. For example, ELL status can be decomposed into English lexical proficiency and instructional English comprehension, each of which influences the outcome through different causal pathways. We formally define separable DIF effects associated with these decomposed components, depending on the absence or presence of item impact, and provide causal identification strategies for each effect. We then apply the framework to biased test items in the SAT and Regents exams. We also provide formal detection methods using causal machine learning methods, namely causal forests and Bayesian additive regression trees, and demonstrate their performance through a simulation study and a real-world application. Finally, we discuss the implications of adopting interventionist approaches in educational testing practices.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Надає складний фреймворк для визначення та виявлення 'справедливості', що виходить за межі кореляції.
- Пропонує чіткі алгоритмічні шляхи (Causal Forests/BART) для впровадження каузального аналізу DIF у дисертаційному дослідженні.
- Дискусія щодо 'умов допустимого компонента' є важливою для обґрунтування каузальних тверджень у дослідженнях освітніх оцінювань.
Методологія та вибірка
Дослідження валідує свій фреймворк, використовуючи симуляційне дослідження (N=1000, 2000, 4000) та емпіричне застосування на наборі даних 2200 дорослих мешканців США (Keller et al., 2025), що охоплює 12 математичних передтестових завдань. Моделі для виявлення включають Causal Forests (пакет `grf`) та Bayesian Additive Regression Trees (BART) (пакет `bartCause`), порівняно з традиційними базовими методами Mantel-Haenszel та логістичної регресії DIF.
Чому варто прочитати
Ця стаття забезпечує строгий статистичний фундамент для виходу за межі 'чорної скриньки' DIF-індикаторів. Застосовуючи сучасні методи каузального висновку (декомпозиція впливу) до психометрії, вона пропонує педагогам та психометристам спосіб перейти від простого виявлення зміщених завдань до діагностики конкретних, усувних причин зміщення, що значно посилює аргументи щодо валідності для перегляду тестів.
Головні твердження та перевірені цитати
Немає верифікованих цитат для цієї статті.
Обмеження та особливості дослідження
- Запропоновані методи виявлення потребують або відомих здібностей, або надійно оцінених показників здібностей, які можуть бути чутливими до вимірювальних помилок.
- Фреймворк базується на 'умові допустимого компонента' та припущенні про відсутність неврахованих конфаундерів, що може бути складно забезпечити в реальних освітніх даних.
- Метод виявлення загального сепарабельного DIF (на основі BART) може бути консервативним через коригування на множинне тестування при використанні щільних сіток здібностей.
- Фреймворк наразі передбачає детермінований зв'язок між некерованою груповою змінною та її компонентами, що може не відповідати дійсності у всіх соціокультурних контекстах.
- [метод / методологічна інновація]: Автори переходять від стандартної статистичної асоціації у DIF (Holland & Wainer, 1993) до інтервенціоністського фреймворку, успішно вирішуючи проблему 'немає каузальності без маніпуляції'.
- [вибірка / узагальнюваність]: Емпірична валідація наразі обмежена дорослими передтестовими математичними завданнями; необхідні подальші дослідження для перевірки результативності на високовалідних академічних іспитах для більш різноманітних популяцій.