Reproducibility is not construct validity: LLM measurement of institutionally situated communication
Автори: Veronika Batzdorfer, Carlo Romano Marcello Alessandro Santagiustina
Видання / Джерело: arXiv (2026)
Відтворювані анотації текстів, зроблені ШІ, не завжди вимірюють те саме, що й відповіді в опитуваннях, що викриває систематичні упередження в інституційній комунікації.
Головне з роботи
- Висока відтворюваність результатів оцінювання великими мовними моделями не гарантує валідності конструкту під час аналізу складних комунікацій.
- Автоматизоване кодування текстів може відображати інституційну риторику та стратегічні інтереси, а не реальні переконання окремих респондентів.
- Розбіжності між даними моделей та опитувань часто мають систематичний характер, що вказує на залежність точності вимірювань від контексту та географічних чинників.
- Дослідникам варто бути обережними: узгодженість метрик моделі не завжди збігається з традиційними психометричними показниками, що може призводити до змішування зовнішнього дискурсу з прихованими конструктами.
- Результати обмежені специфікою обраної сфери та моделі, що потребує додаткової перевірки в різних лінгвістичних та регуляторних умовах.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
High annotation reproducibility does not necessarily imply that an LLM-inferred measure captures the construct it is intended to measure. We test this distinction using a dataset from the European Commission's AI Act consultation, linking structured survey responses to free-text consultation submissions from the same stakeholders. LLM annotations of consultation submissions are highly reproducible (intraclass correlations > 0.99), yet show limited convergence with survey-reported measures of the nominal construct they were intended to approximate. Divergence between survey-and LLM-inferred text-based measures varies systematically across stakeholder groups: business associations express greater concern about AI risks in text-based consultations than in survey responses ({g} = +1.0), whereas public authorities and several nonbusiness groups show smaller or negative divergences. Divergences between scores suggest positive spatial autocorrelation across European countries (Moran's I = 0.347, p = 0.036), indicating that stakeholders from neighboring countries tend toward more similar text-based stances towards AI safety concerns. Despite divergence, survey-reported concerns remain strongly associated with support for explainability across all divergence levels. These results demonstrate that LLM annotation reproducibility can coexist with poor construct correspondence and motivate validation procedures that distinguish reproducibility, construct validity, and communication context variation when LLMs are used as measurement instruments.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Забезпечує критичну базу для оцінювання інструментів оцінювання на основі LLM в освіті.
- Підкреслює ризик виникнення упередженості колаєра при використанні характеристик, отриманих із тексту, як контрольних змінних у моделюванні.
- Наголошує на різниці між процедурною відтворюваністю та змістовною валідністю, що є критично важливим для аудитів оцінювання високого рівня відповідальності.
Методологія та вибірка
Набір даних із 857 подань стейкголдерів у межах публічних консультацій щодо Закону про ШІ Європейської Комісії (2020-2021 рр.). Фінальна вибірка для валідації містить N=348 подань, які включають як відповіді у вільному текстовому форматі, так і структуровані дані опитування (занепокоєння щодо безпеки, прав та важливості пояснюваності). Модель, використана для анотування: Qwen3.5-397b-A17b.
Чому варто прочитати
Ця стаття пропонує сувору психометричну критику парадигми 'текст як дані' у обчислювальних соціальних науках. Вона слугує фундаментальним попередженням для викладачів та дослідників, що використовують LLM для автоматизованого оцінювання, демонструючи, що процедурна послідовність (відтворюваність) є необхідною, але недостатньою умовою для змістовної валідності в складних комунікативних середовищах.
Головні твердження та перевірені цитати
Орієнтовний переклад: “Висока відтворюваність анотацій не обов'язково означає, що міра, отримана за допомогою LLM, відображає конструкт, який вона має вимірювати.”* (машинний переклад) — 10.48550/arxiv.2609.19866, с. 1, абз. 5 (exact)
Обмеження та особливості дослідження
- Лише одна мова: не згадано в тексті
- Аналіз обмежений однією сферою політики (регулювання ШІ в ЄС) та одним консультаційним процесом.
- Результати базуються на одній моделі (Qwen3.5-397b-A17b); узагальнюваність результатів для інших LLM потребує перевірки.
- Методологія промптингу може відображати англо-американські текстові конвенції, які не повністю узгоджуються з європейською регуляторною та запобіжною риторикою.
- Дослідження не встановлює епістемічну ієрархію; показники опитувань також можуть страждати від упередженості соціальної бажаності.
- підтримує Відтворюваність анотування за допомогою LLM відрізняється від змістовної валідності. «Reproducibility is not construct validity: LLM measurement of institutionally situated communication», с. 1, абз. 1
- підтримує Високі показники відповідності людським анотаціям не встановлюють змістовну валідність. «But as pointed out by Baden et al. [14], strong performance in matching human annotations or given ground truths does not establish substantive validity», с. 3, абз. 4
- [метод / еквівалентність вимірювання]: Анотатори LLM виводять 'вираженість/присутність', тоді як пункти опитування вимірюють 'інтенсивність', що призводить до систематичного стиснення оцінок у верхньому діапазоні шкали для проксі-показника LLM.