An Interpretable and Scalable Framework for Evaluating Large Language Models
Автори: Xinhao Qu, Qiang Heng, Hao Zeng, Xiaoqian Liu
Видання / Джерело: arXiv (2026)
Розгляд тестових завдань бенчмарка як рівнозначно дискримінативних спотворює рейтинги мовних моделей порівняно з масштабованими психометричними моделями пунктів тестів.
Головне з роботи
- Теорія пунктів тестів виправляє спотворення в результатах тестів, спричинені нерівномірною дискримінацією та складністю завдань у межах бенчмарків.
- Алгоритми мажоризації-мінімізації вирішують великомасштабні психометричні моделі там, де стандартні процедури максимізації очікування не збігаються.
- Узгодженість рейтингів між сирою точністю та латентною спроможністю різко падає в міру того, як дискримінація тестових завдань стає більш гетерогенною.
- Параметри дискримінації пунктів на основі даних можуть систематично виявляти застарілі або неінформативні тестові завдання для скорочення бенчмарків.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
Evaluation of large language models (LLMs) is increasingly critical, yet standard benchmarking methods rely on average accuracy, overlooking both the inherent stochasticity of LLM outputs and the heterogeneity of benchmark items. Item Response Theory (IRT) offers a principled framework for modeling latent model abilities and item characteristics, but conventional methods are computationally expensive and numerically unstable, limiting large-scale implementations. To address these challenges, we propose an interpretable and scalable framework for LLM evaluation based on the majorization-minimization principle. Our approach reformulates the problem as a sequence of constrained matrix factorization subproblems, enabling stable and efficient parameter estimation with theoretical guarantees for identifiability and convergence. Experiments on synthetic and real-world datasets, including MATH-500 and six Open LLM Leaderboard benchmarks, demonstrate that our method achieves superior scalability and interpretability. It delivers orders-of-magnitude speedups over competing methods while maintaining comparable or even higher estimation accuracy. Our results align with established scaling laws and offer insights into item difficulty and discrimination, informing more principled benchmark design.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Основна обчислювальна методологія для моделювання параметрів пунктів та оцінок спроможності під час використання LLM як респондентів тестів або оцінювання автоматизованих банків тестів.
- Пряма психометрична протидія недійсності незважених складених тестових балів за наявності гетерогенності пунктів.
- Базовий алгоритм для великомасштабного комп'ютерного тестування, автоматизованого калібрування пунктів та ідентифікації скомпрометованих/неінформативних пунктів.
Методологія та вибірка
Психометрична структура оцінювання (cBMM), застосована до синтетичних бенчмарків і 7 реальних наборів: MATH-500 (J = 500 пунктів, N = 140 LLM) та шість бенчмарків Hugging Face Open LLM Leaderboard v2 (N = 2 211 LLM; J варіюється від 541 в IFEval до 12 032 в MMLU-Pro). Базисні методи включали mirt (алгоритм EM у R), py-irt (варіаційне виведення в Python), L-BFGS-B та Manopt.
Чому варто прочитати
Для дослідників освітнього оцінювання та психометриків, які працюють із генеративним штучним інтелектом, ця робота об'єднує психометричне моделювання пунктів тестів із масштабним обчислювальним оцінюванням. Вона пропонує чисельно стійку, математично доведену оптимізаційну альтернативу (cBMM) для тендітних процедур EM, безпосередньо звертаючись до того, як гетерогенність дискримінації пунктів викликає спотворення балів і робить зважені метрики тестів недійсними.
Головні твердження та перевірені цитати
Орієнтовний переклад: “Широкомасштабні експерименти демонструють прискорення на кілька порядків порівняно з конкурувальними методами за досягнення порівнянної чи навіть вищої точності оцінювання.”* (машинний переклад) — 10.48550/arxiv.2605.07046, с. 2, абз. 7 (exact)
Орієнтовний переклад: “Спостерігається чіткий обернений зв'язок, що забезпечує емпіричну підтримку нашої гіпотези про те, що більша гетерогенність оцінок дискримінативності завдань призводить до більш виражених розбіжностей у ранжируванні.”* (машинний переклад) — 10.48550/arxiv.2605.07046, с. 7, абз. 8 (exact)
Обмеження та особливості дослідження
-
no_standard_errors:
виявлено
“Third, deriving statistical error bounds for the recovered parameters would provide a principled quantification of uncertainty and strengthen the theoretical guarantees of the method.” (с. 9)
- Наразі обмежено одно-вимірними моделями латентних ознак, що може надмірно спрощувати багатоаспектні оцінювання за допомогою бенчмарків.
- Обмежено даними бінарних відповідей; поки що не підтримує політотомні або неперервні оцінки, типові для рубрик LLM-як-судді.
- Бракує статистичних довірчих інтервалів для скінченних вибірок або меж похибки для оцінених параметрів пунктів і моделей.
- підтримує Латентні здібності, відновлені за допомогою психометричного моделювання, узгоджуються з параметричними законами масштабування. «Results on model abilities are consistent with established parametric scaling laws [33, 28], and the recovered item features align with human annotations [40], capturing fine-grained heterogeneity that average accuracy fails to reflect.», с. 2, абз. 8
- підтримує Вища дисперсія дискримінації пунктів знижує рангову кореляцію між спроможністю за IRT та простою точністю. «A clear inverse relationship is observed, providing empirical support for our hypothesis that greater heterogeneity in item discrimination estimates leads to more pronounced ranking discrepancies.», с. 7, абз. 8
- [метод / алгоритмічний]: Стандартні пакети психометричного програмного забезпечення (наприклад, mirt) покладаються на квадратурне/EM-інтегрування, розроблене для розмірів вибірки людей, і дають збій, коли матриці відповідей мають надзвичайну розрідженість, повну сепарацію або тисячі пунктів.
- [метрика / концептуальний]: Оцінювання за сумою балів або середнім відсотком імпліцитно припускає однакову 1-параметричну дискримінацію Раша; cBMM доводить, що це припущення вводить суттєву нерелевантну до конструкту дисперсію, коли пункти мають гетерогенну дискримінаційну здатність.