The Reliability Illusion in Synthetic Patients: Psychometric Misalignment of Open-weight LLMs on PHQ-9 and GAD-7
Автори: Qian Shen, Yu Han
Видання / Джерело: Workshop on Computational Linguistics and Clinical Psychology (CLPsych) (2026)
Висока надійність у згенерованих LLM даних опитувань є ілюзією: синтетичні респонденти імітують узгодженість, повністю спотворюючи приховану структуру вимірювання.
Головне з роботи
- Висока внутрішня узгодженість у синтетичних даних відображає поверхневе семантичне зіставлення, а не автентичні латентні психологічні риси.
- Жодна з протестованих мовних моделей не досягла скалярної інваріантності вимірювання порівняно з автентичними вихідними даними відповідей людей.
- Синтетичні респонденти показали екстремальну чутливість до промптів, змінюючи базову геометрію вимірювання при незначних варіаціях інструкцій у промптах.
- Автоматизоване пре-тестування шкал з використанням мовних моделей ризикує призвести до створення принципово хибних психометричних оцінок параметрів.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
Globally, the incidence of depression and anxiety continues to rise, and the importance of mental health assessment scales as diagnostic tools has grown accordingly.Researchers are increasingly employing generative AI to produce large volumes of items and entire scales, which in turn elevates the costs of validating their reliability and validity.In this study, we used four open-weight LLMs to complete the GAD-7 and PHQ-9, varying prompts, sampling temperature, and dynamic contextual scenarios to emulate realistic human response patterns.Using multi-group confirmatory factor analysis, differential item functioning analyses, and other psychometric methods, we evaluate the factor structure of LLM-generated responses and assess measurement invariance relative to human responses.Our findings reveal a critical paradox: although open-weight LLMs exhibit exceptionally high internal consistency, they demonstrate severe structural mismatch and fail to achieve scalar measurement invariance against human baselines.Furthermore, pervasive differential item functioning and extreme prompt fragility indicate that these models rely on superficial, stereotype-driven semantic matching rather than simulating stable latent psychological dynamics.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Безпосередньо стосується досліджень, що вивчають LLM як синтетичних учасників тестів, автоматизоване пілотування пунктів та синтетичних випробовуваних.
- Надає відтворюваний методологічний план із використанням багатогрупового CFA та DIF для перевірки інваріантності вимірювання між людьми-випробовуваними та генеративним ШІ.
- Слугує емпіричним попередженням для освітніх психометриків, які намагаються калібрувати банки тестових завдань або досліджувати аргументи валідності за допомогою відповідей ШІ.
Методологія та вибірка
Чотири відкриті LLM (Llama-3.1-8B-Instruct, Mistral-7B-Instruct, Llama-3.3-70B-Instruct, GPT-OSS-120B) тестувалися за факторним дизайном 2x3x2 (2 температури, 3 рівня вираженості персонажів, 2 умови промптів) у межах 500 ітерацій для кожної умови, генеруючи 6 000 валідних відповідей на модель для кожного інструменту за шкалами PHQ-9 та GAD-7. Базова лінія для порівняння з людьми складалася з 6 000 випадково відібраних відповідей людей із NHANES за 2017–2019 роки (PHQ-9) та NHIS за 2019 рік (GAD-7). Оцінювання використовувало одновимірний CFA за допомогою робастного максимальної правдоподібності (MLR), багатогруповий CFA для інваріантності вимірювання та порядкову логістичну регресію для диференційованого функціонування пунктів (DIF).
Чому варто прочитати
Ця робота суворо розвінчує небезпечне припущення про те, що синтетичні респонденти LLM можуть замінювати людей-тестувальників або випробовуваних під час пре-тестування оцінювання, доводячи, що надійність на поверхневому рівні приховує катастрофічну психометричну невалідність.
Головні твердження та перевірені цитати
Орієнтовний переклад: “Для обох шкал жодна з моделей не підтримала метричну чи скалярну інваріантність, а конфігураційна припасованість уже була слабкою в кількох випадках, що свідчить про те, що зміни в промптингу вплинули на латентну архітектуру відповідей.”* (машинний переклад) — 10.18653/v1/2026.clpsych-1.7, с. 5, абз. 2 (exact)
Обмеження та особливості дослідження
- Немає змагального тестування: не згадано в тексті
- Мала вибірка: немає
- Оцінювалися лише моделі з відкритими вагами, а не передові пропрієтарні моделі із закритим кодом, такі як GPT-4 або Gemini.
- Умови симульованих персонажів передбачали збалансовані пропорції психічного здоров'я, тоді як клінічна поширеність або поширеність у спільноті є природно незбалансованою.
- Не було систематично виділено незалежний внесок динамічних ситуативних модифікаторів порівняно з формулюванням промптів.
- Синтетичні набори даних порівнювалися лише з однією вибірковою поперечною зрізкою даних опитування людей.
- підтримує Синтетичні респонденти на базі LLM лише частково відтворюють психометричні патерни людей у контекстах опитувань та шкал. «This suggests that LLM-generated data may be useful for early group-level psychometric prototyping, but cannot replace individual-level validation.», с. 2, абз. 3
- підтримує LLM ідіосинкратично обробляють порядкові шкали, механічно концентруючи ймовірність на довільних числових токенах. «This mechanical token bias provides a critical mechanistic context for why synthetic responses may mimic human averages but fail structural validation.», с. 2, абз. 3
- [метод / методологічна пробіл]: Дослідження, які спираються лише на кореляцію або альфу Кронбаха для заяв про еквівалентність LLM і людини, не помічають факторну структуру та інваріантність вимірювання.
- [визначення / концептуальна розбіжність]: Висока альфа Кронбаха в LLM виникає через кероване стереотипами семантичне зіставлення в промптах, а не через подібні до людських безперервні латентні риси.