Personality Without Persons? A Psychometric Critique of Big Five Testing in Large Language Models
Автори: Kim Zierahn, Cristina Cachero, Anna Korhonen, Nuria Oliver
Видання / Джерело: arXiv (2026)
Спроби накласти людські психологічні фреймворки на LLM можуть призвести до оманливих висновків у сфері управління ШІ, оскільки реакції моделей не відповідають структурі людської особистості.
Головне з роботи
- Опитувальники людської особистості часто не мають валідності за змістом при прямому застосуванні до LLM і потребують адаптованих версій.
- Міжмодельна варіативність становить лише від 7% до 17% від загальних балів «Великої п'ятірки», що свідчить про відсутність значущої диференціації рис у моделей.
- Відповіді LLM щодо особистості не відображають канонічну п'ятифакторну людську структуру, демонструючи високу колінеарність між аспектами.
- Навчання з інструкціями систематично зміщує бали моделей у бік соціально бажаних профілів, а не розкриває глибинні сталі риси.
- Заяви щодо управління ШІ, що базуються на балах особистості LLM, слід інтерпретувати з великою обережністю через низьку конструктну валідність.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
Human personality inventories are increasingly used to characterize large language models (LLMs), compare systems, and inform downstream governance claims. Yet, these inventories were developed and validated for humans, and it remains unclear whether they are valid for non-human systems. We present a systematic psychometric evaluation of Big Five personality measurement in LLMs. We ask three research questions: Do Big Five inventories a) appropriately describe LLMs, b) capture meaningful differences between models, and c) reflect internal factors consistent with human personality? We assess the content validity of five candidate Big Five inventories and administer the best-performing inventory to N = 264 LLMs spanning 50 model families. Our findings are threefold. First, Big Five items adapted for LLMs achieve acceptable content validity, whereas the original human-developed items do not. Second, Big Five inventories fail to capture meaningful differences across LLMs: between-model variance accounts for only 7% - 17% of the total score variance. Third, LLMs responses do not reproduce the canonical Big Five five-factor structure of human personality, with four of the five personality facets collapsing into one (r >= .90). Moreover, comparisons between base and instruction-tuned variants suggest that alignment training shifts Big Five scores toward socially desirable profiles. These findings demonstrate that Big Five inventories do not measure a construct equivalent to human personality in LLMs. Thus, using human personality frameworks to characterize, benchmark, compare, or govern LLMs risks producing misleading conclusions. We highlight the need for evaluation frameworks that are specifically designed and validated for LLMs, rather than transferring human psychological constructs without first establishing their validity.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Надає критичну рамку для оцінки валідності психометричних інструментів при застосуванні до LLM.
- Пропонує методологію декомпозиції варіативності для виділення модельно-специфічних рис із артефактів промптингу.
- Ставить під сумнів валідність «особистості ШІ» як метрики для оцінки чи управління.
- Підсвічує ризики антропоморфізації ШІ через невідповідне використання психологічних моделей.
Методологія та вибірка
Дослідження складалося з двох етапів: Етап 1 включав дослідження валідності за змістом за участю 3 експертів, які оцінювали п'ять кандидатів на опитувальники. Етап 2 передбачав масштабне застосування опитувальника BFI-LLM до 264 LLM з 50 сімейств, порівнюючи їх із нормативними людськими показниками (N = 76 413) та аналізуючи базові версії проти моделей, налаштованих інструкціями (20 пар).
Чому варто прочитати
Ця робота забезпечує сувору психометричну критику дедалі популярнішої практики «тестування особистості ШІ». Вона виходить за межі поверхневих спостережень, застосовуючи аргументи формальної валідності, і демонструє, що широковживані особистісні ярлики для LLM є по суті артефактами навчання з інструкціями, а не сталими психологічними конструктами.
Головні твердження та перевірені цитати
Орієнтовний переклад: “Ці результати демонструють, що опитувальники «Великої п'ятірки» не вимірюють у LLM конструкт, еквівалентний людській особистості.”* (машинний переклад) — 10.48550/arxiv.2607.02325, с. 1, абз. 5 (exact)
Орієнтовний переклад: “Варіанти з налаштуванням за інструкціями (instruction-tuned) отримали вищі бали, ніж їхні базові аналоги, за шкалами відкритості, сумлінності, екстраверсії та доброзичливості, і нижчі — за шкалою нейротизму.”* (машинний переклад) — 10.48550/arxiv.2607.02325, с. 7, абз. 11 (exact)
Обмеження та особливості дослідження
- Дослідження валідності за змістом спиралося на невелику експертну групу з 3 осіб, що могло внести упередженість.
- Аналіз базується на самозвітах, які можуть не корелювати з реальними поведінковими тенденціями або можливостями.
- Дослідження проводилося виключно англійською мовою, що обмежує можливість узагальнення на інші мови.
- Вибірка відображає моделі, доступні через публічні API на початок 2026 року, що може не представляти майбутні архітектури.
- Припущення про незалежність спостережень є технічно недосконалим, оскільки сімейства моделей використовують спільні навчальні дані та архітектуру.
- підтримує Варіативність відповідей LLM є меншою порівняно з людськими базовими показниками. «This finding aligns with prior work showing reduced variance in personality scores across LLMs», с. 8, абз. 13
- [Methodology / теоретична прогалина]: Стаття суперечить припущенню багатьох попередніх досліджень (наприклад, Lee et al. 2025; Sorokovikova et al. 2024), які інтерпретують відмінності в балах між моделями як валідні індикатори окремих особистісних рис.