Beyond Score Prediction: LLM-Based Essay Scoring and Feedback Generation via Reinforcement Learning with Rubric Rewards
Автори: Xuefeng Jin, Jiashuo Zhang, Teng Cao, Bin Yang
Видання / Джерело: arXiv (2026)
Ця робота пропонує систему навчання з підкріпленням, що усуває проблему деградації зворотного зв'язку завдяки фільтрації винагород за рубриками, гарантуючи високу якість AI-коментарів при збереженні точності автоматизованого оцінювання.
Головне з роботи
- Оптимізація оцінювання есе за допомогою стандартного навчання з підкріпленням може призвести до зниження якості згенерованих коментарів.
- Фреймворк RFE дозволяє автоматизувати детальну оцінку зворотного зв'язку, перетворюючи критерії рубрик у скалярні сигнали винагороди.
- Адаптивна керована оптимізація зворотного зв'язку (AGFO) суттєво зменшує обчислювальні витрати на використання LLM-судді без втрати якості оцінювання чи коментарів.
- Суміжне контрастивне міркування (ACR) підвищує чутливість моделі до дрібних якісних відмінностей, змушуючи її розрізняти суміжні рівні оцінок.
- Спільне навчання на різних завданнях дозволяє зберегти точність оцінювання, одночасно спрощуючи розгортання та підтримку системи.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
Large language models (LLMs) have been widely applied to automated essay scoring (AES) and automated feedback generation (AFG). However, existing studies rely primarily on prompt engineering or supervised fine-tuning, while systematic research on reinforcement learning (RL) post-training and automated evaluation of feedback quality remains limited. We propose RLAES, a unified LLM framework that jointly optimizes essay scoring and feedback generation through RL. To make feedback quality measurable, interpretable, and usable for training, we introduce Rubric-based Feedback Evaluation (RFE), an essay-grounded feedback evaluation framework comprising 166 fine-grained binary rubric items and an LLM-as-judge. Building on RFE, we propose Adaptive Gated Feedback Optimization (AGFO), which activates rubric-based feedback rewards on demand during RL, reducing evaluation overhead while improving feedback quality. We also propose Adjacent Contrastive Reasoning (ACR) to improve ordinal score calibration by explicitly contrasting adjacent score levels. Experimental results show that the RFE framework captures essay-feedback consistency, exhibits strong pairwise discriminative power, and closely aligns with expert preferences. On the ASAP benchmark, RLAES-AGFO achieves the best scoring performance among LLM-based methods (QWK = 0.803), while maintaining feedback quality comparable to GPT-5.5 and avoiding the feedback degradation observed under score-only RL. Code and datasets are publicly available at https://github.com/hellomuyi/RLAES.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Надає масштабований фреймворк для інтеграції педагогічних рубрик у моделі автоматизованого оцінювання.
- Пропонує кількісну методологію для виявлення та пом'якшення «дрейфу фідбеку» в системах автоматичного оцінювання.
- Обговорює компроміси між обчислювальними витратами та якістю зворотного зв'язку в системах оцінювання на основі навчання з підкріпленням.
Методологія та вибірка
Дослідження використовує набір даних ASAP (12 978 есе за 8 завданнями). Модель базується на Qwen3.5-9B з використанням LoRA для тонкого налаштування. Базовими моделями для порівняння є GPT-3.5, GPT-4, Llama-3-8B-Instruct та різні моделі SFT. Для оцінки в межах фреймворку RFE застосовується GPT-5.5 як еталонний суддя.
Чому варто прочитати
Стаття пропонує рідкісне та строге рішення проблеми «злому винагороди» в освітніх AI-системах, де моделі оптимізують бал ціною якості педагогічного зворотного зв'язку.
Головні твердження та перевірені цитати
Орієнтовний переклад: “RLAES-AGFO досягає найкращих результатів оцінювання серед методів на основі LLM (QWK = 0,803), зберігаючи при цьому якість зворотного зв'язку, порівнянну з GPT-5.5, і уникаючи погіршення зворотного зв'язку, що спостерігається при RL, заснованому лише на оцінках.”* (машинний переклад) — 10.48550/arxiv.2607.19219, с. 1, абз. 5 (exact)
Орієнтовний переклад: “ACR покращує чутливість до дрібнозернистих відмінностей у якості та зменшує плутанину між суміжними рівнями в порядковій класифікації.”* (машинний переклад) — 10.48550/arxiv.2607.19219, с. 2, абз. 4 (exact)
Обмеження та особливості дослідження
-
Нерепрезентативна вибірка:
виявлено
“Evaluation is also restricted to prompt-specific English essays from ASAP.” (с. 7)
-
Немає змагального тестування:
виявлено
“RLAES remains limited by its dependence on LLM judges, whose differing preferences can cause reward mismatch” (с. 7)
-
Лише одна мова:
виявлено
“Evaluation is also restricted to prompt-specific English essays from ASAP.” (с. 7)
- Фреймворк залежить від суддів на базі LLM, які можуть страждати від невідповідності винагороди через суперечливі преференції.
- Оцінювання обмежене есе англійською мовою з набору ASAP, що обмежує можливість негайної крослінгвістичної чи кросдоменної генералізації.
- Оцінювання якості зворотного зв'язку вимагає значних фінансових та обчислювальних ресурсів при використанні потужних LLM-суддів.
- [метод / відсутність змагального тестування]: Хоча автори включають «спотворений» фідбек (суміжні оцінки), вони не тестують фреймворк RFE проти змагальних (adversarial) коментарів, спеціально розроблених для імітації високоякісних педагогічних маркерів.