SkillEval: Learning Interpretable Ability Profiles of LLMs via Cognitive Diagnosis Models
Автори: Berke Arda, Peng Cui, Qiaoyuan Zheng, Rudolf Debelak, Mubashara Akhtar, Mrinmaya Sachan
Видання / Джерело: arXiv (2026)
Моделі когнітивної діагностики виявляють детальні профілі навичок LLM, що забезпечує вчетверо дешевшу маршрутизацію запитів при вищій стабільності порівняно зі скалярними оцінками бенчмарків.
Головне з роботи
- Середні оцінки бенчмарків затьмарюють детальні відмінності в можливостях між мовними моделями з ідентичною скалярною продуктивністю.
- Нейронні моделі когнітивної діагностики прив'язують системи координат до іменованих навичок, усуваючи невизначеність багатовимірної теорії відповідей на завдання (IRT).
- Маршрутизація LLM на основі навичок знижує витрати на інференс на 75% при збереженні точності, рівній найсильнішій окремій моделі.
- Комп'ютерне адаптивне тестування складає профілі невідомих мовних моделей за допомогою 20 цільових завдань так само точно, як і 100 випадкових завдань.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
Current evaluation of LLMs on benchmarks typically aggregates performance over individual examples into a single scalar score. This approach is overly coarse and ignores the diverse scope of skills covered by benchmark datasets. To address this limitation and better exploit benchmark data, we propose SkillEval, a new evaluation framework that performs cross-model, skill-level analysis. The framework integrates advances from two areas: (1) it leverages the meta-cognitive capabilities of LLMs to automatically discover interpretable skills from questions, and (2) it applies cognitive diagnosis models (CDMs) from psychometrics to estimate per-skill abilities of LLMs. We conduct experiments on 3,811 LLMs evaluated on 9,523 items across five benchmarks spanning diverse domains (MATH, BBH, GPQA, MuSR, IFEval). Compared to the traditional average-based evaluation paradigm, SkillEval produces reliable, more calibrated and informative yet concise model profiles that more accurately predict model behavior on unseen items. We also demonstrate the utility of SkillEval in two downstream tasks: (1) LLM routing, which dynamically assigns each query to a capable but efficient model, reducing inference cost by over 60% while achieving improved performance, and (2) Computerized Adaptive Testing (CAT), where an unseen model can be efficiently evaluated using a trained CDM. Furthermore, we show that these skill profiles provide useful insights, for example, how benchmarks share skills and how instruction-tuned models differ from their base models.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Надає конкретний методологічний план для застосування психометричних моделей когнітивної діагностики (CDM) та побудови Q-матриці до оцінювання генеративного штучного інтелекту.
- Демонструє, як принципи комп'ютерного адаптивного тестування (CAT) зменшують навантаження від вибірки завдань, зберігаючи діагностичну валідність.
- Пропонує математичні формулювання для оцінки параметрів завдань на основі текстів, придатні для динамічних банків оцінювання.
Методологія та вибірка
Набір даних містить 36 мільйонів записів відповідей модель-завдання, що охоплюють M = 3811 LLM та N = 9523 завдань у п'яти бенчмарках (MATH, BBH, GPQA, MuSR, IFEval). GPT-4o-mini виділяє 13 276 унікальних рядків навичок (у середньому 2,9 на завдання), які вбудовуються через SBERT (all-mpnet-base-v2) і групуються за допомогою ієрархічної агломеративної кластеризації у K = 100 кластерів навичок для побудови бінарної Q-матриці. Текстово-обумовлена нейронна CDM (NCDM) вивчає вектори складності завдань і параметри дискримінації з текстових ембедингів, водночас обмежуючи володіння навичками моделі в межах [0, 1]. Базові лінії включають 2PL IRT, багатовимірний IRTNet (d=232, 512, 1024), пошук завдань за методом k-найближчих сусідів (KNN) та найкращі за результативністю окремі LLM.
Чому варто прочитати
Ця стаття об'єднує психометричне моделювання когнітивної діагностики та оцінювання великих мовних моделей. Вона безпосередньо вирішує кризу валідності скалярних оцінок у бенчмарках LLM, пропонуючи надійну, інтерпретовану та відтворювану багатовимірну альтернативу профілювання. Психометрики та дослідники тестування знайдуть застосування CD-CAT, виділення Q-матриці та нейронних CDM надзвичайно корисними для автоматизованого оцінювання людей та розробки дизайну оцінювання LLM.
Головні твердження та перевірені цитати
Орієнтовний переклад: “Порівняно з методами в стилі MIRT, SKILLEVAL виділяє високоякісні, зрозумілі людині навички та забезпечує стабільні оцінки здібностей під час різних запусків, гарантуючи відтворюване й надійне оцінювання.”* (машинний переклад) — 10.48550/arxiv.2610.28767, с. 2, абз. 4 (exact)
Орієнтовний переклад: “20 адаптивно підібраних відповідей дають середню похибку оцінки бенчмарку, порівнянну зі 100 випадково вибраними відповіддями.”* (машинний переклад) — 10.48550/arxiv.2610.28767, с. 2, абз. 5 (exact)
Обмеження та особливості дослідження
- Мала вибірка: немає
- Нерепрезентативна вибірка: не згадано в тексті
- Єдиний детектор: не згадано в тексті
- Немає змагального тестування: не згадано в тексті
- Лише одна мова: не згадано в тексті
- Параметри складності та дискримінації завдань, отримані з текстових ембедингів, є менш точними для прогнозування відповідей на окремі завдання порівняно зі стандартними необмеженими параметрами IRT.
- Помилки побудови Q-матриці безпосередньо поширюються на відповіді на завдання та прогнози профілю здібностей.
- Спостережувані порівняння володіння навичками між базовими моделями та моделями, налаштованими за інструкціями, не встановлюють прямих причинно-наслідкових ефектів настроювання за інструкціями.
- підтримує Багатовимірні моделі IRT страждають від низької інтерпретованості та невизначеності під час повторних прогонів. «However, these multidimensional models are known to suffer from poor interpretability and non-identifiability, making them less suitable for reliable evaluation.», с. 2, абз. 2
- [метод / концептуальна відмінність]: Суперечить стандартній скалярній IRT та сукупним оцінкам бенчмарків, демонструючи, що скалярна прихована здатність створює згортання можливостей у межах окремих доменних піднавичок.