psychometric_modeling

Beyond Agreement: Diagnosing the Rationale Alignment of Automated Essay Scoring Methods based on Linguistically-informed Counterfactuals

Автори: Yupei Wang, Renfen Hu, Zhe Zhao
Видання / Джерело: Findings of the Association for Computational Linguistics: EMNLP (Findings of EMNLP) (2024)

Висока узгодженість оцінок приховує недоліки систем AES: моделі BERT ігнорують структуру есе, тоді як донавчені LLM відповідають логіці людських критеріїв.

Головне з роботи

Висока узгодженість оцінок із людськими експертами не гарантує, що модель автоматичного оцінювання есе використовує валідні критерії.
Моделі типу BERT ігнорують збурення структури абзаців та есе, залишаючись нечутливими до логічного потоку та когерентності тексту.
LLM у режимі zero-shot виявляють суворі упередження в оцінюванні, але демонструють ширшу узгодженість за критеріями конвенцій, складності та структури.
Промптинг із кількома прикладами (few-shot) та контрольоване донавчання на 200–400 есе підвищують узгодженість оцінок LLM до рівня моделей BERT, зберігаючи при цьому узгодженість обґрунтування.
Згенерований LLM діагностичний зворотний зв'язок чітко відображає контрфактуальні втручання в есе, підвищуючи прозорість оцінювання.

Суть дослідження (TL;DR)

Простими словами Словами дослідження

Стандартні інструменти автоматичного оцінювання есе часто дають точні оцінки з неправильних причин, наприклад, повністю ігноруючи структуру есе. Змінюючи певні характеристики студентських есе, такі як граматика, словниковий запас або порядок абзаців, дослідники перевірили, на що насправді звертають увагу моделі штучного інтелекту під час оцінювання. Вони виявили, що донавчені великі мовні моделі оцінюють есе набагато ближче до вчителів-людей, ніж традиційні моделі-трансформери.

Моделі автоматичного оцінювання есе (AES) часто досягають високого узгодження з людськими експертами, але стандартні метрики кореляції, такі як квадратично зважена каппа, приховують те, чи оцінюють моделі справжні критерії письма. Використовуючи лінгвістично обґрунтовані контрфактуальні втручання, згенеровані за допомогою правил та великих мовних моделей (LLM), це дослідження діагностує логіку прийняття рішень моделями на кшталт BERT та LLM щодо конвенцій есе, складності та структури. Результати показують, що моделі типу BERT ігнорують структуру та когерентність есе, тоді як донавчені LLM демонструють узгодженість обґрунтування разом із високою узгодженістю оцінок.

Анотація авторів (оригінал)

While current Automated Essay Scoring (AES) methods demonstrate high scoring agreement with human raters, their decision-making mechanisms are not fully understood.Our proposed method, using counterfactual intervention assisted by Large Language Models (LLMs), reveals that BERT-like models primarily focus on sentence-level features, whereas LLMs such as GPT-3.5,GPT-4 and Llama-3 are sensitive to conventions & accuracy, language complexity, and organization, indicating a more comprehensive rationale alignment with scoring rubrics.Moreover, LLMs can discern counterfactual interventions when giving feedback on essays.Our approach improves understanding of neural AES methods and can also apply to other domains seeking transparency in model-driven decisions 1 .

Переклад анотації не надається.

Оцінка за критеріями якості та релевантності

Новизна

8.0/10

Методологічна строгість

7.5/10

Інженерні контрзаходи

7.0/10

Виклик консенсусу

7.0/10

Тематична відповідність

8.0/10

Тематична релевантність для освітян

Демонструє, як оцінювати аргумент валідності (фреймворк Кейна/Мессіка) для евалюаторів на базі LLM за допомогою контрфактуальних експериментальних втручань.
Надає методологію для перевірки того, чи покладаються автоматизовані системи оцінювання на релевантні конструктні виміри, порівняно з поверхневими лінгвістичними ознаками.
Пропонує операційні рецепти для донавчання відкритих і закритих LLM для досягнення узгодженості на рівні людини при збереженні інтерпретованості.

Методологія та вибірка

Оцінено моделі автоматичного оцінювання есе на двох наборах даних: TOEFL11 (N = 12 100 есе; 9 900 для навчання, 1 100 для валідації, 1 100 для тестування з 11 походженням рідної мови) та ELLIPSE (N = 6 482 есе учнів 8-12 класів, які вивчають англійську мову; 2 568 для тестування). Протестовані моделі включають донавчені BERT, RoBERTa та DeBERTa, а також zero-shot, few-shot і контрольовано донавчені GPT-3.5 Turbo, GPT-4 Turbo, Llama-3-8B та Llama-3-70B. Методи втручання поєднували редагування на основі правил (заміну слів через nlpaug, перемішування речень) та модифікації тексту GPT-4 Turbo в рамках 8 контрфактуальних умов.

Чому варто прочитати

Ця стаття розглядає фундаментальну проблему валідності в автоматизованому оцінюванні письма: чи виставляють оцінки штучні інтелекти на основі легітимних освітніх конструктів, чи на основі поверхневих патернів, що не стосуються конструкту. Завдяки впровадженню модельно-незалежного контрфактуального фреймворку вона доводить, що звичайні моделі-трансформери можуть бути правильними з неправильних причин (наприклад, повністю ігноруючи структуру есе), тоді як донавчені LLM досягають як високої узгодженості, так і аргументації, узгодженої з критеріями.

Головні твердження та перевірені цитати

Великі мовні моделі демонструють вищу узгодженість із критеріями оцінювання людини порівняно з моделями типу BERT і відображають контрфактуальні збурення у зворотному зв'язку.

Оригінал: “LLMs, although have lower score agreement than traditional models, display a superior alignment with human experts' reasoning during scoring and can also address counterfactual interventions in their feedback.”
Орієнтовний переклад: “Мовні моделі (LLM), хоча й мають нижчий показник узгодженості оцінок порівняно з традиційними моделями, демонструють вищу узгодженість із міркуваннями експертів-людей під час оцінювання, а також можуть враховувати контрфактуальні втручання у своєму зворотному зв'язку.”^{* (машинний переклад)} — 10.18653/v1/2024.findings-emnlp.520, с. 2, абз. 16 (exact)

Контрольоване донавчання або навчання з кількома прикладами дозволяє LLM досягати як високої узгодженості оцінок, так і високої узгодженості обґрунтування.

Оригінал: “Through few-shot learning or fine-tuning, LLMs can achieve both high scoring agreement and rationale alignment.”
Орієнтовний переклад: “За допомогою навчання з малою кількістю прикладів або донавчання мовні моделі (LLM) можуть досягати як високої узгодженості оцінок, так і узгодженості обґрунтувань.”^{* (машинний переклад)} — 10.18653/v1/2024.findings-emnlp.520, с. 2, абз. 16 (exact)

Обмеження та особливості дослідження

Мала вибірка: немає
Нерепрезентативна вибірка: немає
Єдиний детектор: не згадано в тексті
Немає змагального тестування: немає
Лише одна мова: виявлено
“To identify the target concepts for AES scenarios, we reviewed scoring rubrics from major standardized English tests” (с. 3)

Релевантність змісту та виконання вимог завдання були виключені з контрфактуальних втручань, оскільки зміст неможливо змінити без зміни лінгвістичних характеристик.
Оцінювання було обмежене корпусами текстів учнів, які вивчають англійську мову (TOEFL11 та ELLIPSE), що обмежує міжмовну узагальнюваність.
Оцінювання текстового зворотного зв'язку проводилося на підзбірці з 200 есе ELLIPSE, а не на повному тестовому наборі.

Висновок моделі (прогалини та суперечності)

[метрика / концептуальний розрив]: Стандартні метрики узгодженості (QWK) приховують структурну невалідність в автоматичному оцінюванні есе; моделі з високим QWK можуть повністю ігнорувати релевантні конструктні особливості, такі як структура тексту.

#Автоматичне оцінювання есе #LLM як оцінювачі #Валідність конструкту #Контрфактуальні втручання #Узгодженість обґрунтування #Чутливість оцінювання пунктів