Auditing LLM Benchmarks with Item Response Theory
Автори: Sander Land, Daniel M. Bikel
Видання / Джерело: arXiv (2026)
Теорія реакції на завдання виявляє приховані помилки в базах тестів із точністю дев'яносто п'ять відсотків, визначаючи, коли найефективніші моделі систематично відхиляють ключі відповідей.
Головне з роботи
- Неконтрольована теорія реакції на завдання точно ізолює помилки тестових ключів шляхом моделювання того, де учасники тестування з високою здібністю систематично відхиляються від еталонної відповіді.
- Стандартна точність тестів маскує базове спотворення ключів відповідей, яке поширюється через похідні набори даних оцінювання та штучно спотворює оцінювання експертами.
- Автоматизовані моделі оцінювання часто спеціалізуються на стилістичних ознаках, таких як стислість чи структура, а не на фактичній правильності під час оцінювання складних текстових відповідей.
- Техніки аудиту ключів відповідей з використанням психометричних моделей з вимушеною стелею забезпечують масштабований конвеєр контролю якості для підтримки великомасштабних банків цифрових завдань.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
LLM benchmark labels are frozen at release and silently propagated into downstream benchmarks, errors and all. We introduce an Item Response Theory-based indicator that surfaces likely mislabels at 95% precision in the top 200 examples across seven preference and multiple-choice benchmarks using responses from 114 models, outperforming a supervised classifier. We trace these errors to mechanical labeling heuristics, upstream annotation mistakes inherited unchanged from source datasets, and fundamentally ambiguous items without a defensible single label. The same model fit reveals that reward models specialize in stylistic preference rather than factual knowledge, and identifies one frontier reward model that agrees with detected mislabels at 78% accuracy versus 38% for its peers, consistent with benchmark contamination or benchmark-specific over-optimization.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Демонструє, як сучасне психометричне моделювання (теорія реакції на завдання 4PL) виявляє загрози валідності, помилки кодування та компрометацію завдань у великих банках цифрового оцінювання.
- Надає статистичні методи для оцінки того, чи автоматизовані судді/експерти зі штучного інтелекту оцінюють субстантивну точність конструкту чи поверхневі стилістичні маркери.
- Показує, як закономірності диференційованої продуктивності завдань виявляють пошкодження та забруднення банку тестів.
Методологія та вибірка
Оцінено 114 великих мовних моделей (що охоплюють випуски 2023–2026 років від 0.8B параметрів до передових флагманів, включно з 6 спеціалізованими моделями винагороди) на 20 986 тестових завданнях, що охоплюють 32 підмножини з 7 бенчмарків переваг і множинного вибору (RewardBench 1, RewardBench 2, RM-Bench, JudgeBench, GPQA Diamond, MATH-MC, GSM-MC). Оцінювання проводилося порівняно з 2PL IRT, простою 4PL IRT, GLAD, евристиками розбіжності top-k та керованими класифікаторами XGBoost.
Чому варто прочитати
Ця робота демонструє потужне застосування сучасної теорії реакції на завдання (4PL IRT) для аудиту цифрових банків тестів та ідентифікації зламаних, двозначних або хибно закодованих елементів. Для дослідників оцінювання та викладачів, які використовують автоматизоване оцінювання або суддів на основі LLM, вона надає математичний каркас для виявлення деградації ключів відповідей та розуміння систематичних упереджень автоматизованих експертів.
Головні твердження та перевірені цитати
Орієнтовний переклад: “Наш індикатор теорії відповіді на завдання виявляє ці помилкові мітки з точністю 95% у перших 200 завданнях на 114 моделях у семи бенчмарках уподобань і множинного вибору, перевершуючи керований класифікатор.”* (машинний переклад) — 10.48550/arxiv.2605.30504, с. 1, абз. 5 (exact)
Обмеження та особливості дослідження
- Нерепрезентативна вибірка: не згадано в тексті
- Єдиний детектор: не згадано в тексті
- Немає змагального тестування: не згадано в тексті
- Лише одна мова: не згадано в тексті
- Оцінювання спирається на агрегатор міток GPT-5.4 як проксі для золотих міток через непрактичність повторного ручного анотування 20 000 елементів.
- Передбачається умовна незалежність між відповідями моделей за заданої латентної здібності, тоді як моделі, що спільно використовують дані попереднього навчання або архітектури, демонструють залишкові кореляції.
- Неможливо розрізнити справжні помилкові мітки ключів відповідей та елементи, де слабкі моделі вгадують, тоді як усі сильні моделі сходяться на надзвичайно переконливому дистракторі.
- підтримує Родрігес та співавт. (2021) застосували верхні асимптотичні параметри 4PL IRT для вимірювання здійсненності завдань у наборах тестів обробки природної мови. «Rodriguez et al. (2021) use a 4PL upper asymptote as a per-item feasibility score to filter unsolvable items.», с. 2, абз. 1
- підтримує Помилки міток є повсюдними в широко використовуваних наборах тестових бенчмарків і спричиняють подальші спотворення в оцінюванні моделей. «Northcutt et al. (2021a,b) introduce Confident Learning to detect supervised label errors and show that such errors are pervasive in widelyused test sets, with downstream effects on model rankings.», с. 2, абз. 3
- підтримує Параметризація завдань IRT розкриває внутрішні структури тестів, які приховані сукупною статистикою точності. «Vania et al. (2021) showing that IRT reveals structure invisible to aggregate accuracy.», с. 2, абз. 1
- [metric / psychometric modeling / методологічне розширення]: Розширює традиційні психометричні застосування 2PL та 3PL IRT шляхом формування виявлення помилок ключів завдань як контрасту відношення правдоподібності з вимушеною стелею (логарифм правдоподібності дельти 4PL).
- [sample / assessment domain / перенесення домену на освіту людей]: Хоча метод оцінено на наборах даних бенчмарків LLM, математичне формулювання безпосередньо застосовується до аудиту банків завдань стандартизованого оцінювання людей на предмет помилок ключів відповідей та зламаних елементів.