Beyond Agreement: Diagnosing the Rationale Alignment of Automated Essay Scoring Methods based on Linguistically-informed Counterfactuals
Yupei Wang, Renfen Hu, Zhe Zhao · Findings of the Association for Computational Linguistics: EMNLP (Findings of EMNLP) (2024) · doi:10.18653/v1/2024.findings-emnlp.520 · gemini-3.6-flash
Суть роботи
Стандартні інструменти автоматичного оцінювання есе часто дають точні оцінки з неправильних причин, наприклад, повністю ігноруючи структуру есе. Змінюючи певні характеристики студентських есе, такі як граматика, словниковий запас або порядок абзаців, дослідники перевірили, на що насправді звертають увагу моделі штучного інтелекту під час оцінювання. Вони виявили, що донавчені великі мовні моделі оцінюють есе набагато ближче до вчителів-людей, ніж традиційні моделі-трансформери.
Метод і вибірка: Оцінено моделі автоматичного оцінювання есе на двох наборах даних: TOEFL11 (N = 12 100 есе; 9 900 для навчання, 1 100 для валідації, 1 100 для тестування з 11 походженням рідної мови) та ELLIPSE (N = 6 482 есе учнів 8-12 класів, які вивчають англійську мову; 2 568 для тестування). Протестовані моделі включають донавчені BERT, RoBERTa та DeBERTa, а також zero-shot, few-shot і контрольовано донавчені GPT-3.5 Turbo, GPT-4 Turbo, Llama-3-8B та Llama-3-70B. Методи втручання поєднували редагування на основі правил (заміну слів через nlpaug, перемішування речень) та модифікації тексту GPT-4 Turbo в рамках 8 контрфактуальних умов.
#Автоматичне оцінювання есе#LLM як оцінювачі#Валідність конструкту#Контрфактуальні втручання#Узгодженість обґрунтування#Чутливість оцінювання пунктів