Automated Refinement of Essay Scoring Rubrics for Language Models via Reflect-and-Revise
Автори: Keno Harada, Lui Yoshida, Takeshi Kojima, Yusuke Iwasawa, Yutaka Matsuo
Видання / Джерело: Conference on Computational Natural Language Learning (2026)
Ітеративне оновлення критеріїв оцінювання за допомогою власних міркувань мовних моделей значно підвищує узгодженість із людськими перевіряльниками есе.
Головне з роботи
- Створені людьми рубрики є структурно субоптимальними для мовних моделей-оцінювачів, які більше виграють від чівких процедурних правил та числових порогових значень.
- Підхід Reflect-and-Revise відповідає показникам експертних людських рубрик або перевищує їх навіть тоді, коли ініціалізується мінімальним промптом, що містить лише шкалу оцінювання.
- Включення згенерованих моделлю ланцюжків міркувань разом із невідповідностями в оцінках забезпечує багатші діагностичні сигнали для оптимізації рубрик.
- Ітеративний перегляд рубрик слід ретельно контролювати, оскільки надмірні цикли оптимізації можуть іноді призводити до перенавчання на даних (overfitting).
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
Large Language Models (LLMs) are increasingly used for Automated Essay Scoring (AES), yet the scoring rubrics they rely on are typically designed for human raters and may not be optimal for LLMs.Inspired by the calibration process that human raters undergo before formal scoring, we propose Reflect-and-Revise, an iterative framework that refines scoring rubrics by prompting models to reflect on their own chain-of-thought rationales and score discrepancies with human labels.At each iteration, the model identifies scoring-error patterns from sampled mismatches and revises the rubric accordingly.Experiments on three essay scoring benchmarks (ASAP, ASAP 2.0, and TOEFL11) with three LLMs (GPT-5 mini, Gemini 3 Flash, and Qwen3-Next-80B-A3B-Instruct) demonstrate that our method yields improvements in Quadratic Weighted Kappa (QWK), achieving gains of up to +0.403 over human-authored rubrics.Starting from a minimal seed rubric that specifies only the score scale, our method matches or exceeds expert rubric performance in most dataset-model combinations, indicating that iterative refinement can reduce the manual effort of rubric authoring.Analysis of the refined rubrics reveals that the refinement process introduces explicit procedural structures, such as conditional gating rules and quantitative thresholds, that are absent from humanauthored rubrics, highlighting a gap between rubrics designed for human raters and those effective for LLMs. 1
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Directly relevant to assessment validity under generative AI, specifically regarding LLMs as automated raters (LLM-as-a-judge).
- Provides a quantitative approach to understanding prompt-induced rater drift and misalignment between human and machine scoring.
- Offers a practical engineering countermeasure for designing AI-resilient and statistically aligned rubric prompts.
Методологія та вибірка
Evaluation conducted on three essay scoring benchmarks: ASAP Essay Set 1 (persuasive, 1-6 scale), ASAP 2.0 'Exploring Venus' subset (argumentative, 1-6 scale), and TOEFL11 (non-native English, 3 proficiency levels). Training used N=100 essays per benchmark (with sub-experiments at N=20 and N=50) for rubric refinement, evaluated on 10% held-out test splits. Tested models: GPT-5 mini, Gemini 3 Flash, and Qwen3-Next-80B-A3B-Instruct. Baselines included human-authored expert rubrics and AutoCalibrate.
Чому варто прочитати
Ця стаття демонструє, що критерії оцінювання, написані для людей-екзаменаторів, фундаментально не підходять для оцінювачів на основі мовних моделей, пропонуючи автоматизований відкритий фреймворк для перетворення мінімальних шкалів оцінювання на високоефективні структуровані промпти для автоматизованого оцінювання есе.
Головні твердження та перевірені цитати
Орієнтовний переклад: “демонструють, що наш метод забезпечує покращення квадратично зваженого каппа (QWK), досягаючи приросту до +0.403 порівняно з рубриками, створеними людьми.”* (машинний переклад) — 10.18653/v1/2026.conll-main.47, с. 1, абз. 6 (exact)
Орієнтовний переклад: “аналіз уточведених рубрик показує, що процес уточнення впроваджує явні процедурні структури, такі як правила умовного маршрутування та кількісні порогові значення, яких немає в рубриках, створених людьми”* (машинний переклад) — 10.18653/v1/2026.conll-main.47, с. 1, абз. 6 (exact)
Обмеження та особливості дослідження
- Мала вибірка: немає
-
Нерепрезентативна вибірка:
виявлено
“Finally, our evaluation is limited to English essay scoring across three benchmarks.” (с. 9)
- Єдиний детектор: не згадано в тексті
-
Немає змагального тестування:
виявлено
“Further evaluation across a broader range of models and datasets is needed to clarify when and where rubric refinement is preferable” (с. 9)
-
Лише одна мова:
виявлено
“Finally, our evaluation is limited to English essay scoring across three benchmarks.” (с. 9)
- Аналіз структури вдосконаленої рубрики спирається на зіставлення за регулярними виразами (regex) на основі попередньо визначених словників ключових слів.
- Вимагає від 20 до 100 навчальних есе з оцінками людей на кожну рубрику, зберігаючи залежність від анотованих даних.
- Високі обчислювальні витрати на API через повторні виклики мовних моделей у ході випробувань методом Монте-Карло та ітерацій (до ~$170 за запуск).
- Оцінювання обмежене перевіркою есе англійською мовою на трьох стандартизованих наборах даних.
- [визначення / концептуальна невідповідність]: Люди-оцінювачі найкраще працюють із цілісними якісними критеріями, тоді як моделі-оцінювачі вимагають чіткої процедурної логіки, умовного розгалуження та суворих кількісних порогових значень речень/міркувань.