Can We Trust Item Response Theory for AI Evaluation?
Автори: Han Jiang, Sunbeom Kwon, Jinwen Luo, Ziang Xiao, Susu Zhang
Видання / Джерело: arXiv (2026)
IRT широко використовується для вдосконалення бенчмарків ШІ, проте це дослідження показує, що її статистична валідність втрачається в унікальних режимах даних, властивих оцінюванню ШІ.
Головне з роботи
- Стандартні методи оцінювання IRT часто є обчислювально недоцільними або ненадійними при бенчмаркінгу ШІ через невідповідність режимів даних.
- Сильно викривлені або кластеризовані розподіли здібностей моделей ШІ значно знижують надійність рейтингів моделей.
- Невеликої кількості оцінюваних моделей ШІ (N < 100) зазвичай недостатньо для відновлення точної діагностичної інформації на рівні окремих запитань.
- Валідація на основі симуляції є необхідною передумовою перед використанням моделей IRT для висновків про якість бенчмарків ШІ або здібності моделей.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
AI benchmarks increasingly leverage item-level statistical models, particularly item response theory (IRT), to estimate model capabilities, rank systems, select informative examples, and diagnose benchmark quality. However, AI benchmark data often departs from the data regime of human testing, for which standard IRT estimation tools were originally developed: benchmarks typically involve fewer evaluated models, far more items, and capability distributions that may be skewed, clustered, or multimodal. We examine how these regime mismatches challenge the reliability of IRT modeling for AI evaluation. Using item parameters and capability distributions derived from six widely used LLM benchmarks, we simulate response matrices under three common IRT models and compare four estimation tools used in recent benchmark studies: marginal maximum likelihood, Markov chain Monte Carlo, variational inference, and a neural pseudo-Siamese estimator. Across 18,000 simulation conditions, we systematically evaluate computational feasibility, scalability, and the reliability of IRT inferences about model rankings, predicted performance, and item characteristics. Results show that classical estimators can become infeasible in large benchmark settings, whereas scalable estimators can produce unreliable item-level and ranking inferences with small or non-normally distributed model sets. This study identifies when latent trait models reliably support or risk distorting AI benchmarking claims, and what sample sizes and diagnostics are needed for trustworthy use.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Критично важливо для валідації методології будь-якого дослідження з оцінювання ШІ, що використовує IRT.
- Надає фреймворк для діагностики якості бенчмарків шляхом симуляції.
- Застерігає від покладання на сукупні діагностики IRT, коли обсяг моделей невеликий.
Методологія та вибірка
У дослідженні використано симуляційну модель, відкалібровану на основі даних OpenLLM Leaderboard v1. Було протестовано 18 000 умов у шести бенчмарках (від 800 до 15 000 запитань), трьох моделях IRT (1PL, 2PL, 3PL), чотирьох інструментах оцінювання (MML-EM, MCMC, VI, PSN) та п'яти розмірах вибірки (N=30, 100, 180, 400, 1000 моделей).
Чому варто прочитати
Це перше ґрунтовне симуляційне дослідження великого масштабу, яке вивчає психометричну валідність IRT у специфічному контексті оцінювання ШІ, пропонуючи вкрай необхідну корекцію некритичного сприйняття статистичних інструментів тестування людей у цій галузі.
Головні твердження та перевірені цитати
Орієнтовний переклад: “розподіли спроможності моделей часто є ненормальними, демонструючи мультимодальність або асиметрію, що суперечить припущенням про нормальність, які лежать в основі стандартних процедур оцінювання”* (машинний переклад) — 10.48550/arxiv.2607.15190, с. 2, абз. 1 (exact)
Орієнтовний переклад: “N = 30 було недостатньо для відновлення складності та дискримінативності завдань за різними методами, тоді як якість відновлення помітно покращувалася при N ≥ 100.”* (машинний переклад) — 10.48550/arxiv.2607.15190, с. 9, абз. 4 (exact)
Обмеження та особливості дослідження
- Мала вибірка: немає
- Лише одна мова: не згадано в тексті
- Обчислювальна доцільність не оцінювалася на однакових апаратних конфігураціях.
- Розміри вибірки від 30 до 100 не були явно оцінені.
- Аналіз був обмежений одновимірними моделями IRT.
- Бенчмарки не включали семантичні ознаки запитань або інформацію, специфічну для контенту.
- підтримує Стандартні інструменти оцінювання IRT спочатку розроблялися для тестування людей, де є багато респондентів і мало запитань — співвідношення, яке є протилежним у бенчмаркінгу ШІ. «AI benchmark data often departs from the data regime of human testing, for which standard IRT estimation tools were originally developed», с. 1, абз. 6
- [вибірка / Інверсія даних]: Дослідження наголошує, що в бенчмарках ШІ менше «респондентів» (моделей), ніж «запитань», що прямо суперечить умовам, необхідним для стабільності класичного MML-EM.