From Feature-Based Models to Generative AI: Validity Evidence for Constructed Response Scoring
Автори: Jodi M. Casabianca, Daniel F. McCaffrey, Matthew S. Johnson, Naim Alper, Vladimir Zubenko
Видання / Джерело: arXiv (2026)
Мови генеративного штучного інтелекту без попереднього навчання поступаються традиційним двигунам на основі ознак у згоді при оцінюванні есе та демонструють недетермінований дрейф навіть за нульової температури.
Головне з роботи
- Традиційні двигуни на основі ознак показали вищу згоду з експертами-людьми (QWK 0.84), ніж zero-shot LLM (QWK від 0.52 до 0.68).
- Моделі генеративного штучного інтелекту стабільно виставляли нижчі середні оцінки, ніж люди-експерти, що призводить до значної систематичної похибки суворості.
- Встановлення температури моделі на рівні нуля не гарантує детермінованого оцінювання під час повторних оцінювань ідентичних есе.
- Аргументи щодо валідності генеративного оцінювання потребують нових доказів щодо корпусів попереднього навчання, недетермінізму та вразливості до маніпуляцій через промпти.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
The rapid advancements in large language models and generative artificial intelligence (AI) capabilities are making their broad application in the high-stakes testing context more likely. Use of generative AI in the scoring of constructed responses is particularly appealing because it reduces the effort required for handcrafting features in traditional AI scoring and might even outperform those methods. The purpose of this paper is to highlight the differences in the feature-based and generative AI applications in constructed response scoring systems and propose a set of best practices for the collection of validity evidence to support the use and interpretation of constructed response scores from scoring systems using generative AI. We compare the validity evidence needed in scoring systems using human ratings, feature-based natural language processing AI scoring engines, and generative AI. The evidence needed in the generative AI context is more extensive than in the feature-based scoring context because of the lack of transparency and other concerns unique to generative AI such as consistency. Constructed response score data from a large corpus of independent argumentative essays written by 6-12th grade students demonstrate the collection of validity evidence for different types of scoring systems and highlight the numerous complexities and considerations when making a validity argument for these scores.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Безпосередньо переносить аргументи валідності Мессіка та Кейна на рушії оцінювання на базі генеративного штучного інтелекту.
- Надає кількісні метрики (QWK, SMD, внутрішньоекзаменаторний дрейф) для оцінювання надійності екзаменаторів LLM та систематичного зсуву суворості.
- Підкреслює вразливість екзаменаторів LLM до навмисних маніпуляцій через промпти в оцінюванні з конструйованою відповіддю.
Методологія та вибірка
Емпірична оцінка на N = 13 032 переконливих есе з корпусу PERSUADE 2.0, написаних учнями 6–12 класів США за 8 завданнями, оцінених на розбитій вибірці N = 6 514. Порівнювані системи оцінювання: подвійні людські оцінки (рубрика SAT 1–6 з арбітражем третього експерта), лінійна регресійна модель e-rater з 10 макроознаками, GPT-4o (два запуски, temp=0), Gemini 1.5 Pro (два запуски, temp=0) та Gemini 2.5 Pro (один запуск).
Чому варто прочитати
Ця робота встановлює авторитетну психометричну основу валідності, що поєднує Стандарти AERA/APA/NCME 2014 року з оцінюванням відповідей генеративного штучного інтелекту, оголюючи ключові недоліки готових екзаменаторів на базі LLM порівняно з традиційними двигунами NLP.
Головні твердження та перевірені цитати
Орієнтовний переклад: “Емпіричний приклад, який обговорюється пізніше в цьому рукописі з використанням GPT-4o та Gemini 1.5 Pro, демонструє варіативність балів навіть за temperature = 0.”* (машинний переклад) — 10.48550/arxiv.2603.19280, с. 9, абз. 4 (exact)
Обмеження та особливості дослідження
- Немає змагального тестування: немає
- Оцінювання LLM проводилося в конфігурації zero-shot без прикладених у контексті few-shot прикладів або специфічного для завдання керованого донавчання.
- Критерії валідності зовнішнього тесту та ширші освітні коваріати були відсутні в наборі даних PERSUADE 2.0.
- Корпус обмежений аргументативними есе учнів 6–12 класів США, оціненими за єдиною цілісною рубрикою SAT.
- підтримує Есе більшої довжини надійно корелюють з вищими оцінками людей. «Longer essays are consistently associated with higher quality essays in many studies», с. 16, абз. 3
- [метод / conceptual divergence]: Стандартні NLP-рушії оптимізують явні вагові коефіцієнти ознак проти людських цілей, тоді як zero-shot промптинг спирається на латентні ймовірності наступного токена, які не збігаються з розподілами оцінок.