RubricWorld: World Model-Guided Rubric Optimization for LLM Graders
Автори: Hongji Pu, Hang Li, Yucheng Chu, Jiliang Tang
Видання / Джерело: arXiv (2026)
Прогнозування конкретних виправлень та деградацій оцінювання на межах порядкових шкал оптимізує рубрики оцінювання LLM набагато ефективніше, ніж стандартна точність валідації.
Головне з роботи
- Оцінювання правок рубрики за чистою точністю валідації приховує локалізовану деградацію, де нові помилки оцінювання нівелюють виправлення.
- Модель світу, яка прогнозує парні показники виправлення та деградації на порядкових межах оцінок, дозволяє відсіювати кандидатів на редагування без дорогого повторного оцінювання за допомогою LLM.
- Незалежна статистична сертифікація Клоппера-Пірсона на виділених вибірках запобігає перенавчанню та контролює накопичення помилок в ітераціях оптимізації.
- Умова залежності прогнозів редагування від поточного стану рубрики є критично важливою, оскільки ранні доповнення промптів змінюють вплив наступних правил на поведінку LLM під час оцінювання.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
Rubric optimization improves LLM grading by revising scoring instructions while keeping the grader's parameters fixed. Existing optimizers often judge edits by aggregate validation performance, limiting the supervision they retain about which errors an edit corrects or introduces. Testing each candidate also requires rescoring validation answers, which limits how many edits can be explored within a fixed budget. We propose RubricWorld, a framework that learns from previous edit evaluations to guide further search. Its world model predicts an edit's correction and degradation rates at score boundaries, conditioned on the current rubric state. The training signal comes from paired grading results: scores for the same answers before and after an edit. Predictions select one candidate for direct evaluation, and held-out confidence bounds determine whether it corrects enough target errors while keeping new errors within prespecified limits. Measured effects update the model even when the edit is rejected. Across EIR (National), ASAP2.0, and ASAP-SAS with three frozen LLM graders, RubricWorld achieves the highest score in 20 of 27 metric comparisons. On ASAP2.0, it raises gpt-5-mini accuracy from 18.20% with the original rubric to 46.70%, exceeding the strongest baseline, APO, by 22.60 percentage points. code will be released upon acceptance.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Демонструє теоретичні та практичні методи аудиту й оптимізації LLM як оцінювачів в освітньому оцінюванні.
- Забезпечує формальну кількісну методологію для моделювання дрейфу оцінювача та спотворення балів на межах порядкової продуктивності.
- Встановлює методи статистичної сертифікації (межі Клоппера-Пірсона) для гарантування того, що оновлення рубрик не знижують валідність оцінювання.
Методологія та вибірка
Оцінено на трьох наборах даних для автоматичного оцінювання есе та коротких відповідей: EIR National (N=1 373 закриті відповіді вчителів на короткі запитання за 5 пунктами, бали 0-3/0-4), ASAP2.0 (N=17 307 студентських есе з корпусу PERSUADE 2.0, бали 1-6) та ASAP-SAS Set 1 (N=1 673 коротких запитання, бали 0-3). Оцінювання проводилося з використанням трьох заморожених моделей LLM-оцінювачів: Meta-Llama-3.1-8B-Instruct-AWQ-INT4, QwQ-32B-Preview та OpenAI gpt-5-mini. Базові лінії включали Zero-shot, Few-shot, APO, GradeOpt та GEPA за 3 випадкових зерен (seeds).
Чому варто прочитати
Ця робота встановлює сувору статистичну та обчислювальну парадигму для калібрування автоматичних оцінювачів. Замість тонкування ваг LLM або покладання на евристичну оптимізацію промптів, RubricWorld надає принциповий фреймворк, що використовує межі порядкової регресії, моделі світу та довірчі інтервали Клоппера-Пірсона для ітеративної оптимізації рубрик оцінювання, запобігаючи дрейфу та деградації оцінювача.
Головні твердження та перевірені цитати
Орієнтовний переклад: “Для наборів даних EIR (National), ASAP2.0 та ASAP-SAS із трьома незмінними оцінювачами на основі LLM система RUBRICWORLD досягає найвищого бала в 20 із 27 порівнянь за метриками.”* (машинний переклад) — 10.48550/arxiv.2611.01986, с. 1, абз. 5 (exact)
Орієнтовний переклад: “На ASAP2.0 вона підвищує точність gpt-5-mini з 18,20% з оригінальною рубрикою до 46,70%, перевершуючи найсильніший базовий метод, APO, на 22,60 відсоткового пункту.”* (машинний переклад) — 10.48550/arxiv.2611.01986, с. 1, абз. 5 (exact)
Обмеження та особливості дослідження
- Вимагає достатньої кількості емпіричних прикладів відповідей на кожній границі оцінювання; рідкісні категорії балів або малий розмір вибірки для конкретного раунду унеможливлюють сертифікацію редагувань.
- Спирається на еталонні оцінки людини як істинні дані, які можуть містити шум або упередженість людського оцінювача.
- Фокус оцінювання обмежений освітніми завданнями автоматичного оцінювання і може не переноситися безпосередньо на оцінювання тексту у відкритому домені або вирівнювання безпеки.
- [метрика / концептуальна дивергенція]: Стандартні оптимізатори промптів максимізують сукупні метрики (QWK/ACC), що дозволяє великим локальним помилкам на межах ховатися за загальним приростом продуктивності.