Correct codes for the wrong reasons? validating LLMs as measurement instruments for theoretical constructs
Manuel Pita · arXiv (2026) · doi:10.48550/arxiv.2606.28574 · gemini-3.1-flash-lite
Суть роботи
ШІ-моделі можуть правильно класифікувати текст, використовуючи при цьому неправильне обґрунтування — фактично «шахраюючи» шляхом використання поверхневих патернів замість реальних концептів, які вони мають вимірювати. Автори пропонують новий метод валідації під назвою «калібрування за зернистістю». Він вимагає від моделей розбивати концепції на менші, доказові кроки, щоб підтвердити, що вони «думають» про потрібні речі. Це допомагає дослідникам гарантувати, що їхні ШІ-інструменти дійсно вимірюють заплановані освітні або психологічні конструкти.
Метод і вибірка: Це теоретико-методологічна стаття. Вона не проводить нових емпіричних експериментів із первинними даними, а пропонує синтетичний огляд та аналіз 58 існуючих досліджень, літератури та бенчмарків у сфері обчислювальних соціальних наук і психометрії, фокусуючись на використанні ШІ як інструментів для кодування теоретичних конструктів.
#валідність оцінювання#конструктна валідність#ШІ-вимірювання#обчислювальні соціальні науки#теоретична наївність#калібрування за зернистістю