CalibratedRubric: Task-Adaptive Rubric Banks for Open-Ended LLM Evaluation
Автори: Mengting Chen, Yanshu Sun, Wanting Liang, Beidi Luan, Rui Sun, Dezhi Chen, Jing Li, Zuo Bai
Видання / Джерело: arXiv (2026)
Забудьте про жорсткі правила оцінювання AI: нова психометрична модель дозволяє автоматично виділяти лише найважливіші критерії, підвищуючи точність і знижуючи витрати.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
Reliable evaluation of open-ended LLM outputs requires fine-grained rubrics, yet expert curation is costly and difficult to scale. Existing automated pipelines rely on strict judge unanimity and binary variance filters, which cannot distinguish measurable rubrics from informative ones. We introduce CalibratedRubric, a task-adaptive framework that combines type-specific scoring, Bayesian rubric-measurability filtering, and item response theory (IRT)-based bank assembly. CalibratedRubric estimates each rubric's measurability with a Beta--Bernoulli agreement posterior and uses a submodular information-coverage objective to construct compact rubric banks over the observed capability range. Across financial, healthcare, general, and legal benchmarks, measurability filtering improves human-gold agreement on JudgmentBench from $κ=0.604$ to $0.743$. IRT-based greedy selection improves cross-fitted rank fidelity over random selection across all six evaluated response blocks and requires only 49 rather than 131 rubrics to reach the target correlation on FinResearchBench decision-support tasks. Task-label perturbations further reduce system separation, confirming the practical relevance of task-adaptive scoring. These results support CalibratedRubric as an efficient, uncertainty-aware approach to open-ended LLM evaluation, with calibration gains depending on sufficient judge redundancy.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Надає методологію для обробки дрейфу параметрів елементів і дрейфу оцінювачів в оцінюванні з підтримкою AI.
- Пропонує фреймворк для 'AI-стійкого' оцінювання за допомогою психометричних моделей для ідентифікації інформативних елементів рубрик.
- Сприяє дискусії щодо дизайну валідного оцінювання під час використання генеративного AI, формалізуючи процес створення 'банку рубрик'.
Методологія та вибірка
Дослідження оцінює фреймворк на 534 завданнях і 7 959 рубриках, що охоплюють чотири бенчмарки: FinResearchBench-v2 (15 систем, 3 судді LLM), HealthBench, HelloBench (кожен із 6 системами, 4 суддями LLM) та JudgmentBench (1 314 результатів, комісія з 5 людей/LLM). Тестувалися різні власні та відкриті LLM. Базові лінії включають уніфіковані бінарні оцінювачі та випадковий вибір рубрик.
Чому варто прочитати
Стаття надає сувору статистичну основу для підвищення масштабованості та валідності оцінювання LLM, відходячи від недосконалих евристичних фільтрів до психометрично обґрунтованих методів (наприклад, IRT), які є важливими для роботи з шумом в автоматизованому чи напівавтоматизованому оцінюванні.
Головні твердження та перевірені цитати
Немає верифікованих цитат для цієї статті.
Обмеження та особливості дослідження
- Лише одна мова: не згадано в тексті
- Ідентифікованість моделі 2PL слабка на малих лідербордах, що потребує регуляризації.
- Припущення про локальну незалежність в IRT може не виконуватися через спільні залежності у відповідях LLM.
- Систематичні розбіжності між суддями-людьми зберігаються навіть після фільтрації за вимірюваністю.
- Калібрування на рівні рубрик працює погано у сценаріях із двома суддями через недостатню надлишковість.
- [метод / теоретичний розрив]: Автори визнають, що хоча вони використовують модель 2PL для вибору рубрик, докази універсальної ідентифікованості 2PL у цих контекстах оцінювання LLM є обмеженими.