ШІ в освіті
UK EN
psychometric_modeling

From 0-Order Selection to 2-Order Judgment: Combinatorial Hardening Exposes Compositional Failures in Frontier LLMs

Автори: Hanmeng Liu, Shichao Weng, Xiulai Liu, Zhicai Zhang, Anli Yan, Xiaozhang Liu
Видання / Джерело: arXiv (2026)

Як перевірити справжні міркування штучного інтелекту, якщо він просто вивчив усі відповіді напам'ять?

Головне з роботи

  • Традиційні бенчмарки з вибором однієї відповіді страждають від насичення та заучування патернів.
  • LogiHard конвертує простий вибір варіантів у складні логічні завдання 2-го порядку.
  • Провідні мовні моделі втрачають від 31% до 56% точності на ускладнених завданнях.
  • Поєднання з теорією реакції на завдання дозволяє проводити ефективне адаптивне тестування ШІ.

Суть дослідження (TL;DR)

Сучасні тести з множинним вибором погано вимірюють справжнє міркування ШІ, оскільки моделі можуть запам'ятовувати відповіді або використовувати прості обхідні шляхи. Це дослідження пропонує метод, який автоматично перетворює традиційні варіанти на складні логічні комбінації, які моделі мають оцінювати за суворими правилами. Під час тестування на цьому оновленому форматі найкращі моделі ШІ зазнали різкого падіння продуктивності, оскільки їм було важко одночасно оцінювати кілька логічних тверджень.

Бенчмарки міркувань із вибором однієї правильної відповіді страждають від насичення та збоїв статичного оцінювання через заучування поверхневих патернів. Автори пропонують LogiHard — формальний фреймворк, який детерміновано трансформує вибір 0-го порядку на пропозиційне логічне судження 2-го порядку з інтеграцією теорії реакції на завдання для адаптивного тестування. На дванадцяти передових великих мовних моделях оцінювання на LogiHard-2k виявило погіршення точності на 31–56%, спричинене збоями при множинному виборі та упередженістю передчасного завершення.

Анотація авторів (оригінал)

Multiple-choice reasoning benchmarks face dual challenges: rapid saturation from advancing models and data contamination that undermines static evaluations. Ad-hoc hardening methods (paraphrasing, perturbation) attempt to increase difficulty but sacrifice logical validity for surface complexity, falling short to challenge advanced reasoning models. We present LogiHard, a formal framework that deterministically transforms 0-order selection into 2-order logical judgment, which significantly increases the thinking overhead and reasoning steps. The framework integrates Item Response Theory (IRT) for computerized adaptive testing (CAT), enabling precise difficulty control with fewer questions than static benchmarks. We instantiate LogiHard-2k, a logical reasoning dataset constructed by cognitively ranking high-stakes examination questions via 9-dimensional analysis of model thinking traces, followed by combinatorial transformation of high-difficulty items. Evaluation across twelve state-of-the-art models reveals an accuracy degradation ranging from 31% to 56% on combinatorially hardened questions. LLMs suffer from the multi-select failure and early exit bias, which are not shared by human testees. Zero-shot transfer to MMLU demonstrates 47% accuracy degradation (89.84% to 42.86%), confirming applicability across domains with provable validity preservation. The consistent aggregate degeneration is domain-agnostic and stems not from knowledge deficits but from a combinatorial reasoning gap, reflecting a training-induced completeness-verification deficit.

Переклад анотації не надається.

Оцінка за критеріями якості та релевантності

Новизна
8.0/10
Методологічна строгість
8.0/10
Інженерні контрзаходи
8.0/10
Виклик консенсусу
8.0/10
Тематична відповідність
8.0/10

Методологія та вибірка

Обсяг вибірки: N = 2 000 екзаменаційних запитань високого рівня складності (1 461 атомарних елементів LogiHard-Base та 539 комбінаторно трансформованих елементів LogiHard-C, отриманих із корпусу на 6 235 запитань), 128 елементів для перенесення з MMLU та n = 30 експертів-оцінювачів з освітою магістра/доктора. Тестовані ЛМ: 12 передових моделей, включаючи GLM-5, GLM-4.7, GPT-5.4, o3, Claude-Opus-4.6, DeepSeek-R1, DeepSeek-V3.2, DeepSeek-V4-Pro, Gemini-3.1-pro, Kimi-k2.5, Qwen3.5-Plus та Qwen3.6-plus. Базові лінії: оригінальні тестові завдання з варіантами з корпусу, вставка варіатора 'Жодне з вищесказаного' (NOTA) та перетасовування варіантів.

Чому варто прочитати

Ця робота є важливою для дослідників освітніх оцінювань, які вивчають валідність ШІ, оскільки вона демонструє, як стандартні запитання з множинним вибором можна систематично захистити від обхідних шляхів ШІ та заучування. Шляхом підвищення вибору варіантів 0-го порядку до задоволення логічних обмежень 2-го порядку та інтеграції психометричного моделювання IRT-CAT, стаття надає план побудови адаптивних стійких до ШІ оцінювань, пропонуючи водночас кількісну діагностику обмежень міркувань ЛМ.

Головні твердження та перевірені цитати

LogiHard детерміновано трансформує вибір варіантів 0-го порядку в логічне судження 2-го порядку для підвищення складності міркувань.
Оригінал: “We present LogiHard, a formal framework that deterministically transforms 0-order selection into 2-order logical judgment, which significantly increases the thinking overhead and reasoning steps.”
Орієнтовний переклад: “Ми представляємо LogiHard — формальний каркас, який детерміנסтично перетворює вибір 0-го порядку на логічне судження 2-го порядку, що значно збільшує накладні витрати на мислення та кроки міркування.”* — 10.48550/arxiv.2605.07268, с. 1, абз. 5 (exact)
Ускладнення запитань за допомогою пропозиційної логіки спричиняє серйозне падіння точності у дванадцяти найсучасніших мовних моделях.
Оригінал: “Evaluation across twelve state-of-the-art models reveals an accuracy degradation ranging from 31% to 56% on combinatorially hardened questions.”
Орієнтовний переклад: “Оцінювання на дванадцяти найсучасніших моделях виявляє погіршення точності в діапазоні від 31% до 56% на комбінаторно ускладнених завданнях.”* — 10.48550/arxiv.2605.07268, с. 1, абз. 5 (exact)
Комп’ютеризоване адаптивне тестування з використанням теорії реакції на завдання зменшує необхідну довжину тесту, зберігаючи точність вимірювання.
Оригінал: “This protocol achieves measurement precision equivalent to static 60-item tests using only 15–25 adaptively selected questions per subset, while precisely targeting the difficulty zone appropriate to each model’s capability.”
Орієнтовний переклад: “Цей протокол досягає точності вимірювання, еквівалентної статичним тестам із 60 завдань, використовуючи лише 15–25 адаптивно дібраних завдань на підмножину, водночас точно націлюючись на зону складності, відповідну до можливостей кожної моделі.”* — 10.48550/arxiv.2605.07268, с. 6, абз. 1 (exact)

Обмеження та особливості дослідження

  • Мала вибірка: немає
  • Нерепрезентативна вибірка: не згадано в тексті
  • Єдиний детектор: не згадано в тексті
  • Немає змагального тестування: не згадано в тексті
  • Дослідження фокусується переважно на завданнях із множинним вибором і може вимагати адаптації для інших форматів оцінювання.
  • Обчислювальні витрати на створення та перевірку логічно ускладнених завдань є вищими порівняно зі стандартними тестовими питаннями.
  • Поведінка моделей може змінюватися залежно від подальших оновлень та патчів безпеки розробників.

#оцінювання великих мовних моделей #теорія реакції на завдання #бенчмарки міркувань #психометрія #логічне виведення