Correct codes for the wrong reasons? validating LLMs as measurement instruments for theoretical constructs
Автори: Manuel Pita
Видання / Джерело: arXiv (2026)
Великі мовні моделі можуть видавати точні результати з хибних причин, через що надійність перестає бути достатнім показником валідності вимірювання конструктів.
Головне з роботи
- Висока узгодженість оцінок між ШІ та людьми не є достатнім доказом валідності конструкту.
- Теоретично наївні інструменти часто покладаються на поверхневі ознаки, що корелюють із конструктом, але насправді його не вимірюють.
- Процедура «калібрування за зернистістю» змушує модель тестувати конкретні компоненти конструкту та надавати підтверджувальні докази для кожного з них.
- Валідація має зміститися від порівняння результатів ШІ з людськими оцінками до доведення того, що модель слідує теоретичному процесу, визначеному конструктом.
- Декомпозиція конструкту допомагає виявити приховані упередження та «короткі шляхи», де моделі чіпляються за нерелевантні змінні, як-от демографічні дані.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
When a large language model (LLM) codes a construct in text as a human annotator would, that agreement makes the LLM a reliable coder. Yet reliability leaves construct validity untouched. The instrument may be theory-naive, reaching the code through a correlate that meets none of the demands the construct's theory makes, and no current method tells that apart from genuine measurement. We propose grain calibration as a method that closes the gap. It decomposes a construct into clause-level components, tests each against the text with extractive evidence, and combines the results through an explicit, theory-derived rule. Because the rule is stated rather than lodged in one opaque pass, its structure is evidence about the process rather than the output. It shows which components settled a code, and, when the code is wrong, whether a component was missed or an adjacent construct mistaken for it. Validation shifts from scoring an instrument's outputs against an annotator to showing that the instrument runs on the construct its theory specifies.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Забезпечує теоретичний фундамент для переосмислення методів оцінювання в епоху генеративного ШІ.
- Пропонує методологію для запобігання «навчанню короткими шляхами» в автоматизованих системах оцінювання.
- Допомагає визначити, що означає «конструктна валідність» у контексті автоматизованої оцінки за допомогою ШІ.
Методологія та вибірка
Це теоретико-методологічна стаття. Вона не проводить нових емпіричних експериментів із первинними даними, а пропонує синтетичний огляд та аналіз 58 існуючих досліджень, літератури та бенчмарків у сфері обчислювальних соціальних наук і психометрії, фокусуючись на використанні ШІ як інструментів для кодування теоретичних конструктів.
Чому варто прочитати
Стаття пропонує суворий концептуальний каркас (калібрування за зернистістю), що вирішує фундаментальну проблему в сучасній оцінці на базі ШІ: сплутування надійності з валідністю. Вона є незамінною для дослідників, які проектують автоматизовані системи оцінювання та мають вийти за рамки простих метрик узгодженості, щоб гарантувати, що моделі вимірюють саме ті теоретичні конструкти, які передбачалися.
Головні твердження та перевірені цитати
Орієнтовний переклад: “Інструмент, позбавлений теоретичного підґрунтя, не відповідає сутнісному аспекту за Мессіком.”* (машинний переклад) — 10.48550/arxiv.2606.28574, с. 6, абз. 5 (exact)
Обмеження та особливості дослідження
- Калібрування за зернистістю вимагає, щоб цільовий конструкт був «кодувальним» (визначеним апріорі), тобто метод не можна застосувати до конструктів, що виникають у процесі обґрунтованої теорії (grounded theory).
- Метод покладається на участь людини, що створює потенціал для дослідницького упередження при визначенні декомпозиції.
- Стаття не надає емпіричних результатів щодо ефективності калібрування за зернистістю, оскільки це теоретична пропозиція.
- Метод може бути зайвим для простих конструктів, де достатньо дистрибутивної компетентності, наприклад, для визначення базової тональності (сентименту).
- [метод / операціоналізація]: Стаття критикує існуючі фреймворки валідності, такі як ValiText, за фокусування на обґрунтуванні перед вимірюванням, а не на емпіричних доказах процесу.
- [метрика / визначення валідності]: Стандартні метрики узгодженості (F1, каппа Коена) ідентифікуються як вимірювачі надійності, яку в поточній літературі зі ШІ помилково змішують із валідністю.