From Feature-Based Models to Generative AI: Validity Evidence for Constructed Response Scoring
Jodi M. Casabianca, Daniel F. McCaffrey, Matthew S. Johnson, Naim Alper, Vladimir Zubenko · arXiv (2026) · doi:10.48550/arxiv.2603.19280 · gemini-3.8-flash
Суть роботи
Системи автоматизованого оцінювання на основі генеративного штучного інтелекту не виставляють оцінки за студентські есе прозорим або повністю повторюваним способом. Під час тестування на понад 13 000 студентських есе популярні моделі штучного інтелекту ставили помітно суворіші оцінки, ніж люди-експерти та традиційні автоматизовані системи. Навчальні заклади мають вимагати масштабних доказів психометричної валідності перед використанням генеративного штучного інтелекту для виставлення оцінок у тестах із високими ставками.
Метод і вибірка: Емпірична оцінка на N = 13 032 переконливих есе з корпусу PERSUADE 2.0, написаних учнями 6–12 класів США за 8 завданнями, оцінених на розбитій вибірці N = 6 514. Порівнювані системи оцінювання: подвійні людські оцінки (рубрика SAT 1–6 з арбітражем третього експерта), лінійна регресійна модель e-rater з 10 макроознаками, GPT-4o (два запуски, temp=0), Gemini 1.5 Pro (два запуски, temp=0) та Gemini 2.5 Pro (один запуск).
#automated essay scoring#generative AI#validity framework#e-rater#rater drift#psychometrics