psychometric_modeling

QC-Stark: A Multi-Task Benchmark Revealing Capability Dissociations in LLMs Evaluated on Quantum Computing Tasks

Автори: Pranav Gupta
Видання / Джерело: arXiv (2026)

Загальні рейтинги продуктивності LLM часто маскують серйозні прогалини в компетенціях щодо спеціалізованих завдань, таких як маршрутизація схем або налагодження коду.

Головне з роботи

Спроможність LLM у спеціалізованих доменах, таких як квантові обчислення, не є одновимірною; сукупні бали можуть приховувати нульові показники успіху для окремих підзавдань.
Теорія відповідей на пункти (IRT) забезпечує суворий метод перевірки того, що складність бенчмарку масштабується належним чином, а вимірювання здібностей є надійними.
Маршрутизація апаратного забезпечення в квантових схемах діє як універсальне «вузьке місце», де навіть найпотужніші моделі намагаються зберегти семантику при вставці вентилів зв'язності.
Продуктивність моделей у квантових завданнях залежить від якості підказок (prompt engineering), хоча найкращі моделі зберігають відносно стабільні рейтинги за різних умов.
Падіння продуктивності на 59% при переході від задач рівня підручника до завдань рівня відкритих досліджень підкреслює, що масштабування складності бенчмарку є критичним для реалістичної оцінки.

Суть дослідження (TL;DR)

Простими словами Словами дослідження

Дослідники створили новий набір із 11 складних тестів з квантових обчислень, щоб перевірити, як різні моделі штучного інтелекту справляються з практичною роботою. Вони виявили, що загальний бал ШІ часто приховує той факт, що модель може бути відмінною в одному типі завдань, але повністю провалюватися в іншому. Результати показують, що моделі не мають однакового рівня навичок у різних сферах, що робить прості загальні рейтинги оманливими для освітян.

Це дослідження представляє QC-Stark, бенчмарк для квантових обчислень із 11 завдань, що оцінювався на 10 великих мовних моделях (LLM) для аналізу дисоціації здібностей та надійності вимірювань. Використовуючи 2-параметричну модель теорії відповідей на пункти (IRT), автори кількісно оцінюють складність завдань та спроможність моделей, виявляючи, що сукупні рейтинги часто приховують значні відмінності в продуктивності залежно від конкретного завдання. Дослідження показує, що компетентність моделей не є одновимірною, а суттєві зміни рейтингів відбуваються при переході від загальних балів до специфічних завдань, таких як маршрутизація схем або налагодження коду.

Анотація авторів (оригінал)

We introduce QC-Stark, a benchmark for evaluating large language models (LLMs) on 11 quantum computing (QC) tasks, spanning circuit construction, debugging, compilation, error correction, and simulation. Across 2,750 evaluations (10 models $\times$ 11 tasks x 5 difficulty levels x 5 seeds), we find that overall rankings mask substantial per-task variation. The Spearman correlation between overall and per-task rankings is statistically insignificant for 4 out of the 11 tasks included in this benchmark. A 2-parameter Item Response Theory (IRT) model validates measurement quality, and prompt sensitivity analysis confirms ranking robustness across prompt conditions. All tasks are auto-verifiable via execution, thus not requiring any manual evaluation. We make the code and data publicly available on Huggingface.

Переклад анотації не надається.

Оцінка за критеріями якості та релевантності

Новизна

8.0/10

Методологічна строгість

8.0/10

Інженерні контрзаходи

5.0/10

Виклик консенсусу

5.0/10

Тематична відповідність

8.0/10

Тематична релевантність для освітян

Надає методологію для виявлення «дисоціації можливостей», яка може бути використана для аналізу того, як LLM працюють з різними типами академічних завдань.
Демонструє корисність 2PL IRT моделей у перевірці якості освітніх оціночних матеріалів.
Результати про те, як рівні складності завдань взаємодіють із продуктивністю LLM, забезпечують основу для розробки оціночних завдань, більш стійких до «швидких рішень» ШІ.

Методологія та вибірка

Набір даних складається з 2750 оцінок (10 моделей × 11 завдань × 5 випадкових зерен × 5 рівнів складності). До оцінюваних моделей належать: Claude Sonnet 5, Gemini 3.5 Flash, o4-mini, GPT-5.4, Gemma-4 31B, GPT-4.1 mini, Claude Opus 4.1, Gemini Flash Lite, Mistral Large 3 та LLaMA-3.3 70B.

Чому варто прочитати

Це надає чітку структуру для застосування теорії відповідей на пункти до бенчмарків LLM, пропонуючи надійний метод вимірювання «здатності» проти «складності», який безпосередньо можна перенести на оцінювання екзаменів, стійких до ШІ.

Головні твердження та перевірені цитати

Один сукупний бал недостатній для вибору моделі для завдань із квантових обчислень через інверсії продуктивності.

Оригінал: “These inversions demonstrate that a single aggregate score is insufficient in guiding model selection for quantum computing tasks”
Орієнтовний переклад: “Ці інверсії демонструють, що одного сукупного бала недостатньо для вибору моделі для завдань квантових обчислень”^{* (машинний переклад)} — 10.48550/arxiv.2609.35581, с. 3, абз. 9 (exact)

Обмеження та особливості дослідження

Мала вибірка: немає
Нерепрезентативна вибірка: не згадано в тексті
Єдиний детектор: не згадано в тексті

Дослідження використовує Python/Qiskit 2.x, що може змішувати міркування в квантовій області з професійним володінням конкретним API.
Оцінювання базується на доступності моделей, що потенційно зміщує результати на користь конкретних розробників (наприклад, Anthropic).
Деякі оцінювання (11 записів) залишилися обмеженими жорсткими лімітами токенів API, а 46 оцінювань перевищили час очікування під час верифікації.
Невелика кількість комірок «рівень складності/модель» була виключена з аналізу чутливості до підказок через постійні помилки API.

#теорія_відповідей_на_пункти #бенчмаркінг #стійкість_оцінювання_ШІ #кількісна_оцінка #дисоціація_можливостей