Every Wrong Answer Counts: Option-Level Psychometrics for LLM Multiple-Choice Benchmarks
Автори: Xiao Fei, Yang Zhang, Sarah Almeida Carneiro, Michalis Vazirgiannis
Видання / Джерело: arXiv (2026)
Неправильні відповіді в тестах LLM — це не випадковий шум, а структуровані дані, які дозволяють точніше оцінювати інтелектуальні здібності моделей.
Головне з роботи
- Вибір дистракторів у запитаннях з множинним вибором діє як цінний діагностичний сигнал, що розкриває здібності моделі точніше, ніж сукупна точність.
- Запропонована структура LLM-NRM дозволяє суттєво стискати бенчмарки через виявлення інформативних пунктів, скорочуючи необхідну кількість питань для валідного ранжування.
- Традиційні методи бінарного оцінювання не враховують поведінкові фактори, такі як позиційне упередження, різкість калібрування та стратегії вгадування.
- Модель демонструє, що лише за патернами помилок можна відновити оцінки здібностей, які сильно корелюють із зовнішніми рейтингами людських вподобань.
- Дослідження надає масштабований та економічно ефективний метод оцінювання моделей, який перевершує стандартні бінарні підходи теорії тестування (IRT).
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
Most multiple-choice question (MCQ) benchmarks evaluate Large Language Models (LLMs) only by whether they select the correct answers. This binary scoring treats all incorrect responses alike, even though an LLM's preferences among incorrect options may contain systematic and useful information about its behavior and ability. We introduce the LLM Nominal Response Model (LLM-NRM), an option-aware psychometric framework that models the full distribution over answer choices to jointly estimate LLM ability and option-level item characteristics, while separating model-specific response calibration sharpness, positional preference, and difficulty-dependent fallback behavior. Across 189 LLMs and 31,554 items from 14 benchmarks, LLM-NRM predicts held-out LLM-item interactions more accurately than binary Item Response models and conventional nominal-response baselines, and its ability estimates achieve the strongest Spearman correlation of 0.920 with the external human-preference Arena.ai Elo leaderboard. Distractor identity contributes +101% additional Fisher Information per item beyond correctness, and incorrect responses alone recover full-information ability estimates with Spearman 0.943. The learned item parameters also enable efficient benchmarking, where 41 selected items preserve the full-bank ranking with Kendall's correlation 0.85, corresponding to a 770 times reduction. In conclusion, we show that incorrect answers carry distinct and useful measurement information rather than representing equivalent mistakes.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Надає складний психометричний фреймворк для аналізу даних оцінювання, створених ШІ.
- Пропонує чіткі методи для виявлення та моделювання системних упереджень (наприклад, позиційних) у поведінці ШІ.
- Демонструє, як використовувати підходи на основі теорії тестування для оптимізації складання тестів та валідації якості оцінювання.
- Корисно для аргументації того, що стійке до ШІ оцінювання повинно фокусуватися на діагностичній насиченості відповідей, а не лише на правильності.
Методологія та вибірка
У дослідженні проаналізовано 31 554 запитання з множинним вибором з 14 публічних бенчмарків за участю 189 LLM (від 70 млн до 235 млрд параметрів, включаючи моделі з відкритими вагами та закритими API). Базовими методами виступили 1PL-4PL IRT, Deep-IRT, Beta^3-IRT, PSN-IRT та SD-IR.
Чому варто прочитати
Ця робота переосмислює психометричне оцінювання LLM, відходячи від бінарної «правильності» та використовуючи багату інформацію, приховану в розподілі відповідей моделі, забезпечуючи прямий, статистично строгий шлях для ефективнішого освітнього оцінювання.
Головні твердження та перевірені цитати
Орієнтовний переклад: “Номінальна модель відповіді (NRM) надає кожному варіанту власну дискримінативність та привабливість, фіксуючи, як привабливість кожного дистрактора змінюється залежно від здібностей, і тим самим видобуваючи більше вимірювальної інформації на завдання, ніж лише на основі правильності.”* (машинний переклад) — 10.48550/arxiv.2608.02966, с. 2, абз. 3 (exact)
Обмеження та особливості дослідження
- Нерепрезентативна вибірка: немає
- Модель наразі передбачає доступ до порівнянних імовірностей варіантів для всіх запитань.
- Дослідження спирається на єдиний латентний вимір для моделювання здібностей, що може спрощувати складні можливості моделей.
- Поточний фреймворк обмежений запитаннями з фіксованими варіантами відповіді.
- [метод / теоретична прогалина]: Хоча стаття ефективно працює з номінальними відповідями, вона передбачає, що латентна риса здібностей є одновимірною, що може суперечити багатовимірній природі міркувань у просунутих LLM.