Are Near-Tied LLM Rankings Robust to Family-DIF-Guided Benchmark Recomposition?
Автори: Qiaoyuan Zheng, Yiqu Yang
Видання / Джерело: arXiv (2026)
Незначна різниця в балах рейтингів ШІ не гарантує переваги однієї моделі, адже зміна запитань часто змінює результати на протилежні.
Головне з роботи
- Незначні відмінності в балах на популярних тестах ШІ часто не забезпечують стабільних і відтворюваних рейтингів моделей.
- Використовуючи спектральну багатовимірну теорію відповідей на завдання, автори виявили значну чутливість рейтингів серед моделей з майже однаковими показниками ефективності.
- Чутливість тестів не є універсальною; результати значно відрізняються залежно від інструменту оцінювання, причому деякі з них демонструють стійкіші моделі ранжування.
- Фахівцям слід з обережністю інтерпретувати вузькі розриви в продуктивності як доказ переваги однієї моделі, оскільки такі рейтинги можуть не витримувати змін у складі завдань.
- Методологічні обмеження, зокрема лінійна апроксимація психометричної моделі, вказують на необхідність подальшого вивчення прихованих причинно-наслідкових механізмів виявленої диференціальної функціональності завдань.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
Small leaderboard gaps are often interpreted as evidence that one language model is better than another, but their sign may depend on which benchmark items are included. We test this using item-level responses from five benchmarks and a family-label-free spectral approximation to multidimensional item-response theory (MIRT). In owner-disjoint folds, one owner half identifies items with low residual differential item functioning across model families (low-DIF); the resulting frozen, source- and easiness-balanced weights score models in the other half, while equally short matched-random subtests control for generic subtest variation. Full-benchmark and low-DIF rankings remain strongly correlated ($τ_b=.900$--$.948$). Yet in four of five benchmarks, 30.9--47.1\% of cross-family pairs initially within one percentage point reverse order, exceeding their matched-random medians by 16.9--28.6 percentage points (all $p=.001$). The fifth benchmark shows no reliable excess ($-0.9$ points, $p=.689$). The pattern survives all pre-specified population perturbations, and residual item--family signatures replicate across owner halves; however, no family shows a consistent advantage across benchmarks. Thus, globally stable rankings can still leave individual near-tie orderings sensitive to benchmark composition, and sub-one-point leaderboard gaps should be accompanied by evidence that the implied ordering is composition-robust.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Пропонує відтворюваний, надійний метод аудиту даних оцінювання на предмет дрейфу та зміщення складу.
- Надає застережливу основу для інтерпретації метрик ефективності, коли малі різниці в балах використовуються для прийняття критично важливих рішень.
- Поширює психометричні методи DIF на оцінювання на основі LLM, що актуально для лонгітюдних досліджень ШІ як студента або оцінювача.
Методологія та вибірка
Аудит оцінює п'ять бенчмарків (MMLU-Pro, BBH, MMLU, HellaSwag, WinoGrande) з використанням відповідей на рівні завдань від родин моделей (Qwen, Llama, Gemma, Mistral/Mixtral, Phi). Дослідження застосовує перехресну перевірку без збігів за власниками моделей та спектральну багатовимірну теорію відповідей на пункти (MIRT) для оцінки залишкового сімейного диференційного функціонування (DIF). Вибірка включає кілька чекпойнтів на власника (не більше п'яти), при цьому рейтингові представники відбиралися за медіанною точністю. Як базовий рівень для чутливості до складу тестів використовуються підтести зі випадковим вибором.
Чому варто прочитати
Дослідження пропонує строгу психометричну базу для перевірки стабільності лідербордів ШІ, що ставить під сумнів поширену практику інтерпретації розривів у балах менше одного пункту як остаточного доказу переваги моделі. Це важливо для освітян та дослідників, які покладаються на ці бенчмарки для вибору моделей або розробки оцінювань.
Головні твердження та перевірені цитати
Орієнтовний переклад: “Тому невеликі розриви в балах мають супроводжуватися перевірками на стійкість композиції, а не розглядатися як самоінтерпретовані докази переваги моделі.”* (машинний переклад) — 10.48550/arxiv.2609.00482, с. 8, абз. 33 (exact)
Орієнтовний переклад: “Таким чином, спостережувана чутливість локалізована поблизу нічиїх у чотирьох бенчмарках, а не є повним переранжуванням лідерборду.”* (машинний переклад) — 10.48550/arxiv.2609.00482, с. 6, абз. 9 (exact)
Обмеження та особливості дослідження
- Лише одна мова: не згадано в тексті
- Сімейні мітки, виведені з ідентифікаторів моделей, можуть поєднувати архітектуру, навчання та практику завантаження.
- Апроксимація за допомогою спектральної MIRT є лінійною і може пропускати вищовимірні або нелінійні розбіжності в можливостях.
- Бенчмарки є статичними та закритими, що може не відображати всієї широти можливостей моделей.
- Поріг у один відсотковий пункт для 'близьких результатів' є оперативним, а не теоретично обґрунтованим.
- Результати DIF не означають несправедливість моделей або визначення конкретних причинних механізмів для спостережуваних взаємодій.
- підтримує Рейтинги моделей із близькими показниками чутливі до зважування завдань та збурень у бенчмарках. «Rankings can change under prompt weighting or evaluation perturbations [Siska et al., 2024, Alzahrani et al., 2024]», с. 1, абз. 11
- підтримує Попередні роботи з відбору DIF-пулів BBH виявили докази розривів у групах Llama-Qwen. «A course report closest to our setting finds that DIFselected BBH pools alter held-out Llama–Qwen group gaps [Liu, 2026].», с. 2, абз. 4
- [Methodology / методологічне обмеження]: Автори визнають, що їхній підхід спектральної MIRT є корекцією прогнозованих завад, чітко зазначаючи, що він не встановлює внутрішні можливості та не усуває всі розбіжності в здатностях.