From 0-Order Selection to 2-Order Judgment: Combinatorial Hardening Exposes Compositional Failures in Frontier LLMs
Hanmeng Liu, Shichao Weng, Xiulai Liu, Zhicai Zhang, Anli Yan, Xiaozhang Liu · arXiv (2026) · doi:10.48550/arxiv.2605.07268 · gemini-3.6-flash
Суть роботи
Сучасні тести з множинним вибором погано вимірюють справжнє міркування ШІ, оскільки моделі можуть запам'ятовувати відповіді або використовувати прості обхідні шляхи. Це дослідження пропонує метод, який автоматично перетворює традиційні варіанти на складні логічні комбінації, які моделі мають оцінювати за суворими правилами. Під час тестування на цьому оновленому форматі найкращі моделі ШІ зазнали різкого падіння продуктивності, оскільки їм було важко одночасно оцінювати кілька логічних тверджень.
Метод і вибірка: Обсяг вибірки: N = 2 000 екзаменаційних запитань високого рівня складності (1 461 атомарних елементів LogiHard-Base та 539 комбінаторно трансформованих елементів LogiHard-C, отриманих із корпусу на 6 235 запитань), 128 елементів для перенесення з MMLU та n = 30 експертів-оцінювачів з освітою магістра/доктора. Тестовані ЛМ: 12 передових моделей, включаючи GLM-5, GLM-4.7, GPT-5.4, o3, Claude-Opus-4.6, DeepSeek-R1, DeepSeek-V3.2, DeepSeek-V4-Pro, Gemini-3.1-pro, Kimi-k2.5, Qwen3.5-Plus та Qwen3.6-plus. Базові лінії: оригінальні тестові завдання з варіантами з корпусу, вставка варіатора 'Жодне з вищесказаного' (NOTA) та перетасовування варіантів.
#оцінювання великих мовних моделей#теорія реакції на завдання#бенчмарки міркувань#психометрія#логічне виведення