Can Large Language Model-Generated Responses Support Assessment Development? A Human-Calibrated Rasch Benchmark
Автори: Eunjeong Song, Sehee Hong
Видання / Джерело: arXiv (2026)
Великі мовні моделі забезпечують оманливо високу внутрішню узгодженість, проте не здатні охопити варіативність низького рівня, необхідну для валідації шкал оцінювання.
Головне з роботи
- Великі мовні моделі демонструють високу внутрішню узгодженість, але не здатні відобразити варіативність людських відповідей на нижніх рівнях шкали здібностей.
- Детермінована природа синтетичних відповідей призводить до показників інфіту, які можуть помилково вказувати на перепідгонку моделі, а не на низьку якість тестових завдань.
- Використання синтетичних даних для розробки тестів може призвести до хибних рішень щодо об'єднання категорій відповідей або неточного оцінювання складності інструментів.
- Спроби підвищити різноманітність відповідей ШІ через уточнення промптів або надання особистісних характеристик можуть виявитися недостатніми для імітації поведінки реальних респондентів.
- Дослідження підкреслює необхідність психометричної перевірки синтетичних даних, оскільки загальні показники узгодженості не гарантують валідності вимірюваного конструкту.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
Large language models (LLMs) are proposed as synthetic respondents for pilot testing, but their usefulness depends on whether they supply the evidence assessment development requires. We calibrated rating scale models on 14 digital-use skill items from 6,245 adults and used the human item parameters to evaluate responses generated for 1,300 demographically matched personas. LLM responses had high internal consistency ($α\approx .94$) but used the lowest category in 0.2-0.3% of responses versus 13.7-21.5% for humans, and no persona chose it on every item. These gaps changed the response-category judgment on both subscales and the PC targeting judgment; on the human-calibrated scales, 12 of 14 items had infit below 0.70, indicating responses more predictable than the Rasch model expects. Preregistered changes to the prompt, category order, and persona information did not restore the human lower range. High internal consistency is insufficient evidence that LLM responses can replace human pilot data.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Надає структуру для валідації синтетичних даних на основі еталонних шкал, відкаліброваних на людях.
- Визначає специфічні індикатори (патерни відповідей з усіма найнижчими балами, інфіт пунктів) для виявлення зміщення розподілу LLM.
- Кидає виклик аргументам щодо валідності використання ШІ як заміни людям під час пілотного тестування в освіті.
Методологія та вибірка
Вибірка складається з N=6245 дорослих (віком 19+) з Дослідження цифрового розриву 2025 року (Південна Корея). Синтетичні відповіді були згенеровані для 1300 демографічно узгоджених персон з використанням профілів NVIDIA Nemotron-Personas Korea та моделі gpt-oss-120b. Базові показники включали людські відповіді для того самого набору пунктів та попередньо зареєстровані варіації промптів/персон.
Чому варто прочитати
Ця робота пропонує сувору психометричну критику тренду на «синтетичних респондентів». Вона виходить за межі поверхових глобальних метрик, як-от альфа Кронбаха, щоб оцінити валідність LLM крізь призму розробки оцінювання за Рашем, доводячи, що висока внутрішня узгодженість не є доказом валідності конструкту.
Головні твердження та перевірені цитати
Орієнтовний переклад: “Попередньо зареєстровані зміни у промпті, порядку категорій та інформації про персону не відновили нижній діапазон людських результатів.”* (машинний переклад) — 10.48550/arxiv.2609.25059, с. 1, абз. 17 (exact)
Орієнтовний переклад: “Висока внутрішня узгодженість не є достатнім доказом того, що відповіді LLM можуть замінити пілотні дані, отримані від людей.”* (машинний переклад) — 10.48550/arxiv.2609.25059, с. 1, абз. 18 (exact)
Обмеження та особливості дослідження
- Дослідження охопило лише один інструмент, одну модель та один культурний контекст.
- Інформація про персони, релевантна до конструкту, була обмеженою в глибині, що могло спричинити відсутність репрезентації нижнього діапазону.
- Дослідження не встановлює ефективність для об'єктивних тестів, дітей або молодіжних популяцій.
- Аналіз використовував спільну оцінку максимальної правдоподібності (JMLE) без корекції на зміщення.
- [метрика / методологічний недогляд]: Висока альфа Кронбаха в даних LLM маскує серйозні помилки розподілу у «хвості», що суперечить покладанню на альфу як на індикатор валідності респондентів.