Scalable Text-Embedding-informed Cognitive Diagnosis of Large Language Models
Автори: Jia Liu, Zhiyu Xu, Yuqi Gu
Видання / Джерело: arXiv (2026)
Поєднання психометричної когнітивної діагностики з текстовими ембеддингами ШІ виявляє багатовимірні профілі міркувань у тисячах мовних моделей без ручного аннотування навичок.
Головне з роботи
- Моделі когнітивної діагностики оцінюють багатовимірні профілі володіння для LLM замість того, щоб зводити здібності до єдиного скалярного бала.
- Текстові ембеддинги тестових завдань і рішень слугують структурними априорними показниками, які автоматизують виявлення Q-матриці без необхідності ручного зіставлення експертами.
- Спільна оцінка на основі стохастичної апроксимації масштабується лінійно з атрибутами та завданнями, уникаючи експоненційного обчислювального вузького місця класичної максимальної правдоподібності маргіналів.
- Реальне оцінювання на олімпіаді з математики демонструє, що дані відповідей на завдання систематично уточнюють і доповнюють отримані з ембеддингів структури навичок.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
Large language models (LLMs) have achieved remarkable performance on diverse benchmarks, yet existing evaluation practices largely rely on coarse summary metrics that obscure underlying reasoning abilities. In this work, we propose novel methodologies to adapt cognitive diagnosis models (CDMs) in psychometrics to LLM evaluation, enabling fine-grained diagnosis via multidimensional discrete capability profiles and interpretable characterizations of LLM strengths and weaknesses. First, to enable CDM-based evaluation at benchmark scale (more than 1000 items), we propose a scalable method that jointly estimates LLM mastery profiles and the item-attribute Q-matrix, addressing key challenges posed by high-dimensional latent attributes (K > 20), large item pools, and the prohibitive computational cost of existing marginal maximum likelihood-based estimation. Second, we incorporate item-level textual information to construct AI-embedding-informed priors for the Q-matrix, stabilizing high-dimensional estimation while reducing reliance on costly human specification. We develop an efficient stochastic-approximation algorithm to jointly estimate LLM mastery profiles and the Q-matrix that balances data fit with text-embedding-informed priors. Simulation studies demonstrate accurate parameter recovery. An application to the MATH Level 5 benchmark illustrates the practical utility of our method for LLM evaluation and uncovers useful insights into LLMs' fine-grained capabilities.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Безпосередньо стосується моделювання LLM як учасників тесту за допомогою діагностичних психометричних моделей.
- Демонструє, як обробляти оцінювання параметрів завдань та профільування навичок за екстремального масштабу бенчмарків.
- Забезпечує методологію автоматизованої специфікації Q-матриці, яка може інформувати диференційне функціонування завдань та аналіз валідності конструкту серед учасників іспитів як серед ШІ, так і серед людей.
Методологія та вибірка
Метод поєднує текстові ембеддинги (Qwen3-Embedding-4B) з UMAP і ієрархічною кластеризацією для генерації опорного апріорного попереднього розподілу Q-матриці, за яким слідує спільний оцінювач MAP, що вирішується за допомогою стохастичної апроксимації EM (SAEM) в рамках моделі DINA. Оцінено на синтетичних наборах даних (N від 500 до 3000, J від 1000 до 2000, K від 15 до 30) та емпіричному бенчмарку N = 2765 LLM, що відповідають на J = 903 олімпіадні завдання MATH Level 5 за K = 28 атрибутами здібностей.
Чому варто прочитати
Забезпечує елегантний психометричний міст між когнітивною діагностикою та сучасним обробленим природної мови, вирішуючи давню проблему масштабованості високорозмірного оцінювання Q-матриці для LLM.
Головні твердження та перевірені цитати
Орієнтовний переклад: “Великі мовні моделі (LLM) продемонстрували надзвичайну продуктивність на різноманітних бенчмарках, проте поточні підходи до оцінювання переважно спираються на грубі загальні метрики, які затьмарюють глибинні здібності до міркування.”* (машинний переклад) — 10.48550/arxiv.2603.14676, с. 1, абз. 4 (exact)
Обмеження та особливості дослідження
-
Нерепрезентативна вибірка:
виявлено
“We apply the method to the MATH Level 5 benchmark (Hendrycks et al., 2021), a challenging collection of Olympiad-style mathematics problems commonly used to assess advanced mathematical reasoning in LLMs.” (с. 5)
- Єдиний детектор: не згадано в тексті
- Немає змагального тестування: не згадано в тексті
- Обмежено емпіричне оцінювання єдиною предметною областю олімпіадних математичних задач із MATH Level 5.
- Вимагає високоякісних опорних рішень разом з умовами задач для побудови інформативних текстових ембеддингів «запитання-рішення».
- Приймає кон'юнктивну формулювання DINA, яка передбачає, що успіх у завданні вимагає спільного володіння всіма необхідними атрибутами та може карати компенсаторні взаємодії навичок.
- [метод / методологічний]: Стандартне оцінювання IRT для LLM моделює єдину безперервну рису, тоді як цей фреймворк CDM моделює дискретні багатовимірні вектори компетенцій за 28 навичками.