The Reliability Illusion in Synthetic Patients: Psychometric Misalignment of Open-weight LLMs on PHQ-9 and GAD-7
Qian Shen, Yu Han · Workshop on Computational Linguistics and Clinical Psychology (CLPsych) (2026) · doi:10.18653/v1/2026.clpsych-1.7 · gemini-3.7-flash
Суть роботи
Дослідники перевірили, чи можуть моделі штучного інтелекту виступати замінниками людей під час пілотного тестування анкет. Хоча відповіді ШІ на поверхні виглядали надзвичайно послідовними, статистичні тести показали, що вони не фіксують реальні психологічні риси. У результаті використання ШІ для тестування оцінювальних шкал перед їх застосуванням до реальних людей може серйозно спотворити дизайн тестів.
Метод і вибірка: Чотири відкриті LLM (Llama-3.1-8B-Instruct, Mistral-7B-Instruct, Llama-3.3-70B-Instruct, GPT-OSS-120B) тестувалися за факторним дизайном 2x3x2 (2 температури, 3 рівня вираженості персонажів, 2 умови промптів) у межах 500 ітерацій для кожної умови, генеруючи 6 000 валідних відповідей на модель для кожного інструменту за шкалами PHQ-9 та GAD-7. Базова лінія для порівняння з людьми складалася з 6 000 випадково відібраних відповідей людей із NHANES за 2017–2019 роки (PHQ-9) та NHIS за 2019 рік (GAD-7). Оцінювання використовувало одновимірний CFA за допомогою робастного максимальної правдоподібності (MLR), багатогруповий CFA для інваріантності вимірювання та порядкову логістичну регресію для диференційованого функціонування пунктів (DIF).
#інваріантність вимірювання#синтетичні респонденти#диференційоване функціонування пунктів#підтверджувальний факторний аналіз#валідність конструкту#психометрія#оцінювання LLM