The Role of Implicit and Explicit Demographic Signals in Large Language Model-based Student Assessment
Автори: Donya Rooein, Luca Benedetto, Dirk Hovy
Видання / Джерело: arXiv (2026)
Великі мовні моделі систематично адаптують свої оцінки та зворотний зв'язок залежно від неявних і явних демографічних даних студентів, що викликає серйозні занепокоєння щодо справедливості автоматизованого оцінювання.
Головне з роботи
- Мовні моделі демонструють системну упередженість при обробці демографічних даних студентів, часто змінюючи тональність та зрозумілість відгуків залежно від як явних профілів, так і прихованої історії спілкування.
- Дослідження базувалося на контрольованому експерименті за участю шести моделей, налаштованих на виконання інструкцій, для оцінки варіативності результатів в автоматизованому оцінюванні есе та наданні зворотного зв'язку.
- Приховані демографічні сигнали з історії спілкування провокують більш значні та менш передбачувані зміни в поведінці моделей, ніж прямі запити на основі конкретних ролей.
- Результати обмежені тим, що набір даних переважно відображає більшість соціальних груп і обмежується однією мовою, що знижує можливість широкої екстраполяції висновків.
- Результати вказують на те, що досягнення справедливості в автоматизованому оцінюванні вимагає подолання прихованих стилістичних упереджень, а не лише анонімізації профілів користувачів.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
Large Language Models are now common in student assessment, but we know little about how student demographics affect their use. Sometimes, considering student demographics may be necessary -- for example, to improve readability for users with lower educational levels. However, it also risks being a cause of discrimination, e.g., when assigning lower scores to students from lower socioeconomic backgrounds. We set up controlled prompts to test 1) explicit demographic effects, where we mention demographic details directly, and 2) implicit effects, where we use conversation history as a demographic signal. We test these settings in three tasks: Automated Essay Scoring, Formative Feedback, and Metalinguistic Question Answering. We test six state-of-the-art LLMs on these tasks. In both explicit and implicit cases, the models pick up on demographic cues and can change their scoring, feedback, and answers accordingly. We find that LLMs frequently adjust the readability of feedback to education levels when these are explicitly mentioned. On the other hand, implicit conditions produce unpredictable biases, such as in question answering, where responses from lower-education levels receive lower sentiment scores. Our results provide clear evidence of demographic sensitivity in LLMs for educational assessment tasks.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Надає методологію для тестування демографічних упереджень за допомогою контрольованих контрфактичних сценаріїв в оцінюванні LLM.
- Демонструє різницю між явними та неявними демографічними тригерами, що є надзвичайно актуальним для розробки стійких до ШІ методів оцінювання.
- Виділяє специфічність упереджень ШІ залежно від завдання, застерігаючи від універсальних тверджень про «справедливість ШІ».
Методологія та вибірка
Дослідження оцінює шість LLM, налаштованих на виконання інструкцій (GPT-mini, GPT-nano, Llama 3.3 70B, Llama 3.2 3B, Qwen3 4B та Qwen3 30B), у трьох завданнях: автоматизоване оцінювання есе (AES), формування зворотного зв'язку (FF) та металінгвістичні запитання (QA). Набір даних включає 192 480 висновків, згенерованих на основі 200 профілів користувачів (вибірка з набору AI Gap, N=200) та 40 завдань для кожної категорії (Persuade 2.0 для AES/FF; ELQA для QA).
Чому варто прочитати
Ця робота забезпечує суворе, контрольоване оцінювання того, як латентні демографічні сигнали в історії взаємодії з LLM, а не лише явні профілі, можуть викривляти результати навчання. Вона демонструє, що справедливість в оцінюванні за допомогою ШІ — це не лише питання «анонімізації» даних, а складний виклик, пов'язаний із ненавмисними стилістичними та емоційними упередженнями.
Головні твердження та перевірені цитати
Орієнтовний переклад: “Наші результати надають чіткі докази демографічної чутливості у ВММ для завдань освітнього оцінювання”* (машинний переклад) — 10.48550/arxiv.2609.16993, с. 1, абз. 7 (exact)
Орієнтовний переклад: “Варто зауважити, що наші висновки суттєво відрізнялися під час вимірювання різниці в обсязі відповіді (кількості слів) відповідей ВММ: дійсно, ми виявляємо більш значущі результати для Imp, ніж для Exp”* (машинний переклад) — 10.48550/arxiv.2609.16993, с. 7, абз. 6 (exact)
Обмеження та особливості дослідження
- Дослідження використовує обмежену вибірку зі 120 освітніх завдань та 200 профілів користувачів, що може вплинути на можливість узагальнення.
- Більшість демографічних атрибутів у наборі даних зміщені на користь основних груп (наприклад, 96% англомовних носіїв), що обмежує аналіз контрастів між певними групами.
- Неявні сигнали виводяться з історії підказок, не пов'язаних з освітньою сферою, що потенційно додає шуму в дані.
- Аналіз обмежений лише англійською мовою, що унеможливлює оцінку чутливості до демографічних даних у мовах із граматичним родом.
- Використання поправок Бонферроні, хоча й забезпечує надійність, визнається потенційно занадто консервативним методом.
- підтримує На людей-оцінювачів часто впливають демографічні чинники, що підриває ідеал інваріантності оцінок. «In practice, though, this invariance does not hold, as extensive evidence shows that human evaluations are often influenced by demographic factors.», с. 1, абз. 12
- [Method / Зміщення даних]: Автори визнають, що набір даних історії промптів не є репрезентативним для освітньої сфери, що може призвести до упереджених оцінок порівняно з реальними взаємодіями студентів і викладачів.