Dimensionality and Measurement Precision in HLE's Multiple-Choice Subset
Автори: Mayank Sharma, Savira Nadela, Tyler Matteson
Видання / Джерело: arXiv (2026)
Популярні бенчмарки для LLM часто покладаються на тематичні підбали, які після психометричного аналізу виявляються лише інструментами для вимірювання загальних міркувань.
Головне з роботи
- Тематичні підбали HLE не представляють емпірично окремі латентні можливості, функціонуючи натомість як міра загальних міркувань.
- Бенчмарк не має достатньої точності вимірювання для ефективного розрізнення високоефективних передових моделей.
- Аналіз розмірності на основі IRT вимагає ретельного калібрування щодо змодельованого нульового розподілу при малих розмірах вибірки.
- Інженерні завдання забезпечують найбільшу дискримінативну здатність для моделей найвищого рівня, попри те, що вони складають лише малу частку бенчмарку.
- Оцінка бенчмарків має надавати пріоритет покриттю моделей та психометричній валідації, щоб гарантувати, що оприлюднені метрики відображають змістовні профілі навичок.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
Humanity's Last Exam (HLE) is widely used to evaluate frontier language models. HLE organizes its questions into eight subject-domain categories, whose subscores are often interpreted as evidence of distinct capabilities. However, no study has assessed whether these labels correspond to empirically separable latent constructs, nor whether the benchmark effectively differentiates between models of similar ability. We evaluate 29 LLMs on the text-only multiple-choice subset of HLE and apply psychometric methods to assess both the dimensionality of the benchmark and the distribution of its measurement precision. Fitting a two-parameter logistic IRT model, we find that HLE is dominated by a single general reasoning factor: domain labels explain only 3.5\% of variance in the leading principal components of item responses, and within- and between-domain residual correlations are nearly identical (Cohen's $d = 0.016$). A simulation study with the same number of models ($N = 29$) shows that our analyses would detect clearly distinct domain abilities, so their absence is informative; however, small domain-specific differences cannot be ruled out, and model rankings vary across domains somewhat more than a single factor predicts. A separate analysis of the test information function reveals that measurement precision concentrates at moderate ability levels and drops sharply above $θ= 0$, where the strongest models sit. These findings suggest that the subset's domain subscores do not warrant distinct capability interpretations and that its ability to discriminate among the strongest models might be limited.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Надає методологію для аудиту валідності інструментів оцінювання в контексті перенасичення AI.
- Демонструє, як оцінювати 'точність вимірювання' тестів, що є критичним для виявлення інфляції оцінок або ефектів стелі.
- Виділяє ризики використання категорій підбалів без психометричного доказу їх розмірності.
Методологія та вибірка
У дослідженні оцінюється 29 сучасних LLM (включаючи серію OpenAI o, Claude Opus/Sonnet/Haiku, Gemini, DeepSeek та різні моделі з відкритими вагами) на 428 питаннях з множинним вибором з тесту HLE з використанням двопараметричної логістичної (2PL) моделі IRT та аналізу розмірності, відкаліброваного за допомогою симуляцій потужності.
Чому варто прочитати
Ця стаття надає рідкісний, суворий психометричний аудит високостатусного бенчмарку AI, кидаючи виклик загальній практиці використання доменно-специфічних підбалів у таблицях лідерів та пропонуючи шаблон для оцінки майбутніх бенчмарків.
Головні твердження та перевірені цитати
Немає верифікованих цитат для цієї статті.
Обмеження та особливості дослідження
- Лише одна мова: не згадано в тексті
- Аналіз обмежений підмножиною питань з множинним вибором (21% від загального HLE), виключаючи завдання з точним збігом та мультимодальні завдання.
- Розмір вибірки моделей (N=29) є малим і не випадковим, що обмежує можливості для формальної перевірки інваріантності вимірювань.
- Дослідження передбачає детерміновану відповідь на кожне питання, що не враховує варіативність відповідей всередині моделі.
- Малий розмір вибірки обмежує статистичну потужність для виявлення слабких доменно-специфічних відмінностей.
- підтримує Стандартна звітність про сукупні та тематичні підбали в бенчмарках не має емпіричного обґрунтування для припущення про існування окремих латентних факторів. «Most benchmark studies, including HLE, report aggregate accuracy and domainspecific subscores without testing whether the reported domains correspond to empirically distinct latent factors.», с. 1, абз. 8
- [метод / обсяг вибірки]: Автори зазначають, що стандартні психометричні методи, як-от CFA, були неможливими через малу вибірку моделей (N=29) порівняно з кількістю питань (J=428).