Laplace-PSN-IRT: Uncertainty Quantification for Neural Item Response Theory Models of LLM Benchmarks
Автори: Juan Francisco, Mandujano Reyes
Видання / Джерело: arXiv (2026)
Більшість поточних рейтингів LLM статистично нерозрізнені, якщо врахувати невизначеність параметрів, що робить порівняння багатьох топових моделей довільними.
Головне з роботи
- Більшість парних порівнянь моделей у стандартних лідербордах LLM статистично нерозрізнені при врахуванні невизначеності.
- Інформація Фішера на основі точкових оцінок є систематично вразливою та схильною до насичення, тоді як апостеріорно очікувана інформація Фішера є стабільнішою альтернативою для відбору завдань.
- Застосування наближень Лапласа до останнього шару нейронних IRT-моделей вимагає обмеження апостеріорного розподілу конкретними параметрами, оскільки спільна вибірка мультиплікативно взаємодіючих термінів призводить до помилок калібрування.
- При великих обсягах підмножин (100–1000 завдань) апостеріорно очікувана інформація Фішера перевершує методи точкових оцінок у відновленні рейтингів здатності для повних бенчмарків.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
Item Response Theory (IRT) has recently been proposed as a framework for evaluating large language model (LLM) benchmarks by separating a model's latent ability from the properties of individual benchmark items. Existing neural IRT approaches, including PSN-IRT, estimate these quantities using point estimates, limiting uncertainty quantification and downstream statistical inference. We introduce Laplace-PSN-IRT, a post-hoc last-layer Laplace approximation that augments a trained PSN-IRT model with approximate Bayesian posterior inference, recovering calibrated uncertainty over model ability and item difficulty without retraining. The resulting posterior enables credible intervals, probabilistic comparisons between models, and propagation of parameter uncertainty into Fisher-information-based item selection. We show that most pairwise comparisons among 12 models on a standard LLM benchmark leaderboard are not statistically distinguishable despite differing point-estimate ranks. We further show that point-estimate Fisher information can become nearly zero for many benchmark items because it is evaluated at a single reference ability, whereas posterior-expected Fisher information remains substantially more stable across the ability range. Finally, posterior-expected Fisher information more accurately recovers full-benchmark ability rankings from small benchmark subsets in most experimental settings while matching point-estimate performance for the smallest subsets. We validate the calibration of the approximate posterior using held-out predictive coverage and find that modeling item difficulty as random while treating item discrimination as fixed produces well-calibrated uncertainty in this architecture.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Надає кількісний метод для виявлення та моделювання невизначеності параметрів в оцінках на основі IRT.
- Демонструє методи ідентифікації нерозрізнюваних відмінностей у балах серед популяцій учнів або моделей.
- Пропонує суворий підхід до відбору/сегментації завдань, який є стійкішим за традиційні методи точкових оцінок.
Методологія та вибірка
Дослідження використовує 70% набору даних PSN-IRT (N=29 309 завдань у 11 бенчмарках), що охоплює 12 моделей. Метод застосовує апостеріорне наближення Лапласа до останнього шару навченої моделі PSN-IRT без архітектурних змін. Базові методи включають стандартну інформацію Фішера на основі точкових оцінок та випадковий відбір завдань.
Чому варто прочитати
Стаття пропонує суворий статистичний фреймворк для кількісної оцінки невизначеності в бенчмарках LLM, ставить під сумнів надійність сучасних рейтингів лідербордів та надає валідований метод для ефективного відбору тестових підмножин в освітніх та діагностичних контекстах.
Головні твердження та перевірені цитати
Орієнтовний переклад: “Точкова оцінка інформації Фішера згортається для великої, залежної від здібностей частки завдань, і вона є найгіршою на краях діапазону здібностей”* (машинний переклад) — 10.48550/arxiv.2607.25257, с. 5, абз. 8 (exact)
Обмеження та особливості дослідження
- Лише одна мова: не згадано в тексті
- Апостеріорний розподіл для завдань є обмеженим (не повним), оскільки параметри дискримінації, вгадування та здійсненності зафіксовані як точкові оцінки.
- Дослідження валідує відбір завдань проти внутрішнього оракула моделі, а не проти зовнішніх бенчмарків людських уподобань через відсутність відповідних даних.
- Ідентифікатори моделей анонімізовані у випущеному наборі даних, що обмежує можливість прямої інтерпретації рейтингів конкретних моделей.
- Запропонований метод не має рівномірної переваги над випадковим вибором при найменшому розмірі підмножини (50 завдань).
- підтримує Стаття підтверджує проблему слабкої розрізнюваності в рейтингах лідербордів. «every adjacent pair in the sorted ranking overlaps in its 95% credible interval, directly and quantitatively supporting the qualitative “weak separability” concern raised by Zhou et al. [2026]’s Figure 1.», с. 5, абз. 5
- [метод / методологічний пробіл]: Хоча автори наголошують на важливості невизначеності, їхній метод базується на спрощенні типу 'plug-in' шляхом окремого підбору умовних апостеріорних розподілів для здатності та складності, а не повного спільного апостеріорного розподілу.