Can Large Language Model-Generated Responses Support Assessment Development? A Human-Calibrated Rasch Benchmark
Eunjeong Song, Sehee Hong · arXiv (2026) · doi:10.48550/arxiv.2609.25059 · gemini-3.1-flash-lite
Суть роботи
Дослідники перевіряли, чи може ШІ замінити людей на ранніх етапах розробки опитувань. Хоча ШІ надавав послідовні відповіді, він не зміг імітувати повний діапазон реакцій, особливо для користувачів з низьким рівнем навичок. Це призвело б до помилкових рішень розробників щодо структури та оцінювання їхніх тестів.
Метод і вибірка: Вибірка складається з N=6245 дорослих (віком 19+) з Дослідження цифрового розриву 2025 року (Південна Корея). Синтетичні відповіді були згенеровані для 1300 демографічно узгоджених персон з використанням профілів NVIDIA Nemotron-Personas Korea та моделі gpt-oss-120b. Базові показники включали людські відповіді для того самого набору пунктів та попередньо зареєстровані варіації промптів/персон.
#психометрія#модель_Раша#синтетичні_дані#розробка_оцінювання#валідна_конструкту