Which AI model is truly the best: how reliable are public benchmarks of frontier AI models?
Miloš Kankaraš · Zenodo (CERN European Organization for Nuclear Research) (2026) · doi:10.5281/zenodo.22998204 · gemini-3.7-flash
Суть роботи
Рейтинги таблиць лідерів ШІ часто проголошують модель, яка випереджає інші на один-два відсоткові пункти, новою найкращою системою. Це дослідження застосовує стандартну статистику освітнього тестування до результатів 61 основного публічного бенчмарку. Воно показує, що майже жодна таблиця лідерів не має достатньої кількості тестових запитань, щоб надійно відокремити свої найефективніші моделі від аутсайдерів.
Метод і вибірка: Вторинний психометричний ре-аналіз даних відповідей на рівні завдань із 61 публічної таблиці лідерів (HELM [17 наборів], Desai et al. [40 наборів], архів Open LLM Leaderboard v1 [1 набір], SWE-bench Verified [2 набори], tau2-bench banking [1 набір]). Розміри вибірки коливалися від 11 до 6 721 моделі (зокрема Gemini 3 Pro, GPT-5, версії Claude Opus, o3, Grok 4) у межах банків тестів від 97 до 14 556 пунктів. Жодних учнів-людей не оцінювали.
#психометрія#бенчмаркінг#похибка_вимірювання#таблиці_лідерів#похибка_вибірки_пунктів#оцінювання_LLM#тест_МакНемара#дрейф_середовища_оцінювання