Reproducibility is not construct validity: LLM measurement of institutionally situated communication
Veronika Batzdorfer, Carlo Romano Marcello Alessandro Santagiustina · arXiv (2026) · doi:10.48550/arxiv.2609.19866 · gemini-3.1-flash-lite
Суть роботи
Дослідники часто припускають, що якщо модель ШІ щоразу дає однакову відповідь, вона точно вимірює те, що вони хочуть вивчати. Порівнюючи публічні подання, проаналізовані ШІ, з відповідями на прямі запитання тих самих людей, це дослідження показує, що ШІ насправді вловлює спосіб публічного спілкування різних організацій, а не їхні справжні особисті переконання. Це означає, що оцінки на основі ШІ можуть бути ідеально послідовними, але при цьому не вимірювати задуману концепцію.
Метод і вибірка: Набір даних із 857 подань стейкголдерів у межах публічних консультацій щодо Закону про ШІ Європейської Комісії (2020-2021 рр.). Фінальна вибірка для валідації містить N=348 подань, які включають як відповіді у вільному текстовому форматі, так і структуровані дані опитування (занепокоєння щодо безпеки, прав та важливості пояснюваності). Модель, використана для анотування: Qwen3.5-397b-A17b.
#змістовна валідність#обчислювальні соціальні науки#психометрія#анотування за допомогою LLM#інституційна комунікація