Which AI model is truly the best: how reliable are public benchmarks of frontier AI models?
Автори: Miloš Kankaraš
Видання / Джерело: Zenodo (CERN European Organization for Nuclear Research) (2026)
Таблиці лідерів передового штучного інтелекту не можуть статистично розрізнити моделі з найвищим рейтингом, оскільки типові межі переваги знаходяться всередині стандартного шуму вибірки тестових завдань.
Головне з роботи
- Більшість таблиць лідерів ШІ-бенчмарків не можуть статистично розрізнити свої перші п'ять моделей через суттєву похибку вибірки пунктів.
- Роздільна здатність бенчмарків суворо підпорядковується закону квадратного кореня довжини тесту: зменшення похибки вимірювання вдвічі вимагає збільшення кількості пунктів учотирьох.
- Оцінювання тисяч моделей не зменшує похибку оцінки і не покращує роздільну здатність, якщо базовий банк завдань залишається незмінним.
- Зміни у версіях середовищ оцінювання можуть змінити оцінки агентського бенчмарку на п'ятнадцять пунктів, що перевершує різницю між моделями, які ранжуються.
- Таблиці лідерів повинні звітувати про довірчі інтервали та статистичні нічиї, а не представляти неперевірені детерміновані порядкові ранги.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
Public leaderboards order AI models by a point score and the public debate about them turns on leads of one or two points. We ask how many of those leads the benchmarks can detect. Using only the item-level results that the benchmarks themselves publish, we computed a psychometric report card for 61 public leaderboards drawn from HELM, the Desai et al. release, SWE-bench Verified, tau2-bench and the archived Open LLM Leaderboard, applying one instrument throughout: exact paired tests on shared items with false-discovery control, item-sampling error, and a tier count down each ranking. 55 of the 58 leaderboards that discriminate at all cannot fully separate their own top five models, 16 separate none of those ten pairs, and in 40 the leader cannot be told apart from at least one other model. On the benchmarks that decide current headlines, Gemini 3 Pro and GPT-5 are statistically tied on GPQA; on SWE-bench Verified, with the agent held fixed, Claude Opus 4.5 and 4.6 are indistinguishable; among the newest models on tau2-bench no named head-to-head is a real difference. Precision follows the square-root law in the number of items (slope -0.49), and a cohort 84 times larger does not improve resolution. We also find that a change of harness build moves one model's tau2-bench score by 14.9 points, more than the gaps it is used to rank, and that published leaderboard data carry defects that can change a model's standing. We recommend that leaderboards report ties and error bars, fix and disclose their harness, and size their benchmarks to the differences they are used to adjudicate.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Надає кількісний психометричний шаблон для аудиту продуктивності LLM як тестованих на інституційних або стандартизованих іспитах.
- Підкреслює, чому редизайн освітнього оцінювання не може безкритично покладатися на заявлені вендорами переваги в бенчмарках при виборі генеративних моделей.
- Демонструє точні статистичні методи (Клоппера-Пірсона, парний тест МакНемара з поправкою FDR, bootstrap ресемплінг) для оцінки зміщень оцінок ШІ та виявлення справжнього дрейфу можливостей.
Методологія та вибірка
Вторинний психометричний ре-аналіз даних відповідей на рівні завдань із 61 публічної таблиці лідерів (HELM [17 наборів], Desai et al. [40 наборів], архів Open LLM Leaderboard v1 [1 набір], SWE-bench Verified [2 набори], tau2-bench banking [1 набір]). Розміри вибірки коливалися від 11 до 6 721 моделі (зокрема Gemini 3 Pro, GPT-5, версії Claude Opus, o3, Grok 4) у межах банків тестів від 97 до 14 556 пунктів. Жодних учнів-людей не оцінювали.
Чому варто прочитати
Для дослідників оцінювання та психометриків ця робота демонструє пряму актуальність класичної теорії тестування, похибки вибірки завдань та множинних порівнянь для оцінювання передового ШІ. Вона забезпечує фахівців з освітніх вимірювань суворими емпіричними аргументами проти детермінованої інтерпретації бенчмарків оцінювання LLM, ілюструючи, як невідрегульовані таблиці лідерів страждають від серйозного шуму вимірювань, дрейфу середовища та відсутності роздільної здатності на вищому рівні.
Головні твердження та перевірені цитати
Орієнтовний переклад: “Для всіх карток похибка бала зменшується зі збільшенням кількості завдань майже точно за законом квадратного корея (підібраний лог-лог нахил -0.49, r = -0.91; рисунок 3).”* (машинний переклад) — 10.5281/zenodo.22998204, с. 9, абз. 10 (exact)
Орієнтовний переклад: “Зміна збірки тестового середовища змінює бал моделі в tau2-bench на 14.9 бала, що перевищує розриви, за якими її ранжують, а опубліковані дані таблиць лідерів містять дефекти, які можуть змінити позицію моделі.”* (машинний переклад) — 10.5281/zenodo.22998204, с. 1, абз. 6 (exact)
Обмеження та особливості дослідження
- Немає змагального тестування: не згадано в тексті
- Зосереджується виключно на роздільній здатності рангів та похибці вимірювання без аудиту валідності конструкту щодо того, чи оцінюють бенчмарки свої призначені приховані навички.
- Залежить від опублікованих мейнтейнерами сирих тестових запусків; 24 потенційні бенчмарки були пропущені через не випущені журнали на рівні завдань, неперервні метрики або невеликі когорти моделей.
- Розглядає банки завдань як випадкові вибірки з гіпотетичних суперпопуляцій завдань, а не оцінює суворо фіксоване володіння вибіркою тестів.
- підтримує Підтверджує попередню роботу, яка показує, що SWE-bench досяг насичення і більше не може розрізняти найкращі результати. «Our SWE-bench cards confirm that claim with the same instrument used everywhere else, add a comparison with the agent held fixed, and extend the analysis of agentic benchmarks to harness versions on tau2-bench», с. 2, абз. 6
- підтримує Підтверджує висновки про те, що розбіжності в середовищах оцінювання створюють значну дисперсію в результатах бенчмарків. «A change of harness build moves one model's tau2-bench score by 14.9 points, more than the gaps it is used to rank», с. 1, абз. 6
- [метод / концептуальна сліпа зона]: Стандартні таблиці лідерів ШІ розглядають різниці в балах як детерміновані ранги, тоді як класична психометрія розглядає індивідуальні тестові бали як випадкові змінні, що підлягають стандартній похибці вимірювання.
- [метрика / недостатня роздільна здатність]: Публічні бенчмарки мають серйозно занижений розмір (наприклад, від 97 до 500 завдань) відносно вузького діапазону різниць (1-3%), про які заявляють розробники передових LLM.