A Bayesian many-facet Rasch model with Markov modeling for rater severity drift
Автори: Masaki Uto
Видання / Джерело: Behavior Research Methods (2022)
Врахування поступових змін у критеріях оцінювання за допомогою ланцюгів Маркова значно підвищує точність та надійність результатів тестування.
Головне з роботи
- Інтеграція ланцюгів Маркова у моделі Раша підвищує точність оцінювання параметрів завдяки врахуванню часової залежності у суворості екзаменаторів.
- Модель ефективно вимірює зміну стандартів оцінювання через індивідуальні параметри відхилення, що дозволяє краще зрозуміти послідовність роботи оцінювачів.
- Надійні результати досягаються навіть за умов неповних даних, що вказує на перспективність методу для практичних оцінювань з обмеженим перетином екзаменаторів.
- Використання методу потребує значних обчислювальних ресурсів порівняно з традиційними підходами та залежить від ретельного налаштування гіперпараметрів.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
Fair performance assessment requires consideration of the effects of rater severity on scoring. The many-facet Rasch model (MFRM), an item response theory model that incorporates rater severity parameters, has been widely used for this purpose. Although a typical MFRM assumes that rater severity does not change during the rating process, in actuality rater severity is known to change over time, a phenomenon called rater severity drift. To investigate this drift, several extensions of the MFRM have been proposed that incorporate time-specific rater severity parameters. However, these previous models estimate the severity parameters under the assumption of temporal independence. This introduces inefficiency into the parameter estimation because severities between adjacent time points tend to have temporal dependency in practice. To resolve this problem, we propose a Bayesian extension of the MFRM that incorporates time dependency for the rater severity parameters, based on a Markov modeling approach. The proposed model can improve the estimation accuracy of the time-specific rater severity parameters, resulting in improved estimation accuracy for the other rater parameters and for model fitting. We demonstrate the effectiveness of the proposed model through simulation experiments and application to actual data.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Надає кількісний метод виявлення та моделювання дрейфу оцінювачів у педагогічному тестуванні.
- Пропонує Байєсівську психометричну базу, придатну для виправлення викривлень у даних оцінювання.
- Сприяє аргументації валідності, забезпечуючи механізми відокремлення упередженості оцінювача від реальних здібностей учня.
Методологія та вибірка
Дослідження оцінює запропоновану модель за допомогою імітаційних експериментів (варіюючи кількість осіб N=100-500, оцінювачів R=5-10 та часових точок T=3-5) та емпіричного застосування. Емпіричний набір даних охоплює 134 студентів японських університетів, які виконували есе, що оцінювалося 15 екзаменаторами (10 стандартних та 5 навмисно упереджених контрольних оцінювачів протягом чотирьох днів). Модель реалізована в Stan з використанням HMC на базі алгоритму NUTS.
Чому варто прочитати
Ця робота надає суворий психометричний захист від «дрейфу оцінювача» — поширеної причини недійсності оцінювання, яка посилюється, коли екзаменатори перебувають у стані стресу або непослідовні. Надаючи Байєсівську структуру з відкритим кодом для моделювання часової поведінки при оцінюванні, стаття пропонує розробникам тестів інструмент для підтримки цілісності балів у критично важливих середовищах.
Головні твердження та перевірені цитати
Орієнтовний переклад: “Параметри стандартного відхилення, специфічні для оцінювача, надають узагальнену інформацію, що відображає ступінь дрейфу суворості для кожного оцінювача.”* (машинний переклад) — 10.3758/s13428-022-01997-z, с. 23, абз. 6 (exact)
Обмеження та особливості дослідження
-
Мала вибірка:
виявлено
“We recruited 134 Japanese university students” (с. 18)
-
Лише одна мова:
виявлено
“We recruited 134 Japanese university students as participants.” (с. 18)
- Імітаційні та емпіричні експерименти зосереджені на тестах з одним завданням, що обмежує оцінку для складних багатоваріантних тестів.
- Модель обмежена ланцюгами Маркова першого порядку, які можуть не враховувати довгострокові тенденції в поведінці оцінювачів.
- Оцінка параметрів вимагає високих обчислювальних витрат через MCMC порівняно з традиційними методами максимальної правдоподібності.
- Продуктивність моделі залежить від налаштування гіперпараметрів (mu_sigma), що потребує емпіричної валідації через інформаційні критерії.
- підтримує Попередні розширення MFRM для дрейфу оцінювача припускають часову незалежність параметрів суворості. «However, these previous models estimate the severity parameters under the assumption of temporal independence.», с. 1, абз. 5
- підтримує Суворість оцінювача на практиці має часову залежність. «In practice, however, severities between adjacent time points are known to have temporal dependency.», с. 3, абз. 2
- [метод / теоретичний розрив]: Поточна модель використовує припущення про ланцюг Маркова першого порядку; проте автор визнає відсутність можливості для врахування довгострокової залежності, яка може існувати в реальному професійному навчанні оцінювачів.