Field-Testing Multiple-Choice Questions with AI Examinees: English Grammar Items
Автори: Hotaka Maeda
Видання / Джерело: Educational and Psychological Measurement (2025)
ШІ-респонденти можуть замінити людей у ресурсомісткому процесі польового тестування завдань, забезпечуючи автоматизоване калібрування та оцінку латентних показників здатності.
Головне з роботи
- ШІ-респонденти можуть бути натреновані з використанням параметрів теорії відповіді на завдання для генерації даних, що відображають показники продуктивності, подібні до людських.
- Підхід «роздільного» моделювання (Separate), де кожен варіант обробляється індивідуально, перевершує методи на основі конкатенації для визначення складності та дискримінативності завдань.
- ШІ-польове тестування залишається менш точним, ніж тестування за участю людей, але надає життєздатну та недорогу альтернативу для масштабування великих систем оцінювання.
- Дослідження висвітлює ризик «катастрофічного збою моделювання» параметрів завдань, згенерованих ШІ, що свідчить про те, що деякі завдання можуть збивати ШІ-моделі з пантелику способами, нетиповими для людей-респондентів.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
Field-testing is an essential yet often resource-intensive step in the development of high-quality educational assessments. I introduce an innovative method for field-testing newly written exam items by substituting human examinees with artificially intelligent (AI) examinees. The proposed approach is demonstrated using 466 four-option multiple-choice English grammar questions. Pre-trained transformer language models are fine-tuned based on the 2-parameter logistic (2PL) item response model to respond like human test-takers. Each AI examinee is associated with a latent ability θ, and the item text is used to predict response selection probabilities for each of the four response options. For the best modeling approach identified, the overall correlation between the true and predicted 2PL correct response probabilities was 0.82 (bias = 0.00, root mean squared error = 0.18). The study results were promising, showing that item response data generated from AI can be used to calculate item proportion correct, item discrimination, conduct item calibration with anchors, distractor analysis, dimensionality analysis, and latent trait scoring. However, the proposed approach did not achieve the level of accuracy obtainable with human examinee response data. If further refined, potential resource savings in transitioning from human to AI field-testing could be enormous. AI could shorten the field-testing timeline, prevent examinees from seeing low-quality field-test items in real exams, shorten test lengths, eliminate test security, item exposure, and sample size concerns, reduce overall cost, and help expand the item bank.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Надає методологію інтеграції LLM у наявні психометричні робочі процеси.
- Демонструє, як здійснювати розширення банку завдань без потреби в людях-респондентах.
- Обговорює обмеження використання стандартних мовних моделей для психометричної валідації завдань.
Методологія та вибірка
Набір даних складається з 466 завдань з англійської граматики (чотири варіанти відповіді) з широкомасштабної системи оцінювання K-12 (3-8, 11 класи). У дослідженні використовувалися трансформерні моделі DeBERTa-v3-large, тонко налаштовані як ШІ-респонденти для 61 окремого рівня латентної здатності (тета від -3,0 до 3,0). Базові показники для оцінки включали як «симульовані людські» дані (з використанням 1000 змодельованих респондентів), так і підхід «передбаченої 2PL», поширений у наявній літературі з NLP.
Чому варто прочитати
Це перше дослідження, яке розглядає LLM як «ШІ-респондентів», інтегруючи їх безпосередньо в робочий процес польового тестування на основі IRT, пропонуючи практичний шлях до усунення вузького місця, пов'язаного із залученням людей до розробки тестових завдань.
Головні твердження та перевірені цитати
Немає верифікованих цитат для цієї статті.
Обмеження та особливості дослідження
- Нерепрезентативна вибірка: немає
- Дослідження використовувало попередньо відкалібровані дані людських відповідей як «золотий стандарт» (ground truth), що є радше оцінкою, ніж абсолютним еталоном.
- Метод потребує ручної маніпуляції текстом завдань для обробки трансформерами, що може змінити сприйняту складність завдань.
- Дослідження обмежене завданнями з англійської граматики і може не поширюватися на інші предмети або формати без додаткової адаптації.
- Дослідженню бракує аналізу диференціального функціонування завдань (DIF) для розслідування потенційних упереджень у ШІ-респондентів.
- підтримує Методи NLP на базі трансформерів, як правило, ефективніші у передбаченні складності завдань, ніж традиційні моделі регресії на основі лінгвістичних ознак. «Transformers were the most predictive of item difficulty, but the accuracy depended heavily on the type of exam.», с. 21, абз. 25
- [метод / методологічна прогалина]: Дослідження протиставляє свій підхід ШІ, інтегрований з IRT, попередній літературі, яка базувалася на простому передбаченні складності, зазначаючи, що просте передбачення не здатне охопити комплексну природу традиційного польового тестування.