SkillEval: Learning Interpretable Ability Profiles of LLMs via Cognitive Diagnosis Models
Berke Arda, Peng Cui, Qiaoyuan Zheng, Rudolf Debelak, Mubashara Akhtar, Mrinmaya Sachan · arXiv (2026) · doi:10.48550/arxiv.2610.28767 · gemini-3.6-flash
Суть роботи
Оцінювання мовних моделей за допомогою єдиної середньої оцінки приховує конкретні сильні та слабкі сторони в різних завданнях. Ця стаття представляє SKILLEVAL — метод, який розбиває тестові запитання на конкретні навички та використовує моделі освітніх вимірювань для оцінки кожної навички моделі ШІ. Цей профіль навичок залишається стабільним при повторному тестуванні, допомагає автоматично спрямовувати запити користувачів на дешевші моделі ШІ без втрати точності та швидше тестує нові моделі ШІ.
Метод і вибірка: Набір даних містить 36 мільйонів записів відповідей модель-завдання, що охоплюють M = 3811 LLM та N = 9523 завдань у п'яти бенчмарках (MATH, BBH, GPQA, MuSR, IFEval). GPT-4o-mini виділяє 13 276 унікальних рядків навичок (у середньому 2,9 на завдання), які вбудовуються через SBERT (all-mpnet-base-v2) і групуються за допомогою ієрархічної агломеративної кластеризації у K = 100 кластерів навичок для побудови бінарної Q-матриці. Текстово-обумовлена нейронна CDM (NCDM) вивчає вектори складності завдань і параметри дискримінації з текстових ембедингів, водночас обмежуючи володіння навичками моделі в межах [0, 1]. Базові лінії включають 2PL IRT, багатовимірний IRTNet (d=232, 512, 1024), пошук завдань за методом k-найближчих сусідів (KNN) та найкращі за результативністю окремі LLM.
#Моделі когнітивної діагностики#Психометрія#Оцінювання LLM#Комп'ютерне адаптивне тестування#Q-матриця#Теорія відповідей на завдання#Маршрутизація моделей