Beyond ID Embeddings: Process-Grounded Language Modeling for Cognitive Diagnosis
Автори: Minghang Liu, Yuanzhuo Wang, Qiang Qiu, Huawei Shen, Xueqi Cheng
Видання / Джерело: arXiv (2026)
Замінюючи довільні ідентифікатори учнів та завдань на отримані за допомогою LLM графи когнітивних процесів, ця діагностична модель зберігає точність прогнозування успішності навіть у сценаріях з дефіцитом даних.
Головне з роботи
- Перехід від статичних ідентифікаторів до моделювання когнітивних процесів на основі мовних моделей підвищує ефективність діагностики в умовах браку даних.
- Використання структурованих графів когнітивних процесів покращує точність прогнозування результатів навчання та діагностичних моделей.
- Результативність підходу значною мірою залежить від якості текстових матеріалів та чіткості визначень навчальних концепцій.
- Оскільки прогностичні показники не відображають усіх аспектів розвитку учня, методика має доповнювати, а не замінювати комплексні експертні оцінювання.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
Cognitive Diagnosis Models (CDMs) play a pivotal role in personalized online learning. Traditional CDMs rely on discrete, ID-based embeddings to represent students, exercises, and concepts. This paradigm diverges from the nature of learner cognition, where knowledge is not stored and retrieved as isolated symbols. As a result, CDMs suffer from semantic limitations when new exercises or concepts appear. In this paper, we propose a Process-aware Language Cognitive Diagnosis (PLCD) framework that uses language-derived structures as cognitive priors and response records to calibrate student posterior states. PLCD leverages large language models (LLMs) to construct concept schemas and cognitive process graphs, and uses target-conditioned semantic memory to retrieve historical responses that are relevant to each target exercise. A process-grounded Language-to-Cognition Mapper with DA-MoE experts and process-level contrastive learning then maps the textual evidence into a unified cognitive space. Experimental results show that PLCD not only outperforms traditional baselines in predicting student performance but also exhibits strong cognitive transfer capabilities. These results connect the computational power of LLMs with the psychometric goal of measuring latent knowledge states, suggesting that structured language priors calibrated by response records can improve cold-start robustness and cognitive grounding.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Надає складний приклад того, як LLM можна використовувати для створення когнітивних апріорних знань у психометричному моделюванні.
- Пропонує структуру для дизайну оцінювання, «стійкого до ШІ», демонструючи, що діагностичні представлення можна будувати на основі глибоких структурних знань, а не лише логів поверхневих відповідей.
- Релевантно для досліджень продуктивності в умовах «холодного старту» в комп'ютеризованому адаптивному тестуванні.
Методологія та вибірка
У дослідженні оцінюється структура PLCD на трьох великомасштабних освітніх наборах даних: Junyi (N=10 000 учнів), XES3G5M (N=3 000 учнів) та MOOC (N=3 000 учнів). Порівняльні базові моделі включають класичні психометричні моделі (IRT, MIRT), нейронні моделі (NCD, RCD, ACD) та моделі з підтримкою знань (KaNCD, TechCD, KCD, DMC-CDM). Моделі були реалізовані за допомогою Gemini-3 Pro для побудови когнітивних доказів та text-embedding-3-large для створення ембедингів.
Чому варто прочитати
Ця стаття пропонує суттєві зміни в архітектурі моделей когнітивної діагностики (CDM). Перехід від чисто статистичних ID-ембедингів до мовного моделювання, що базується на процесах, вирішує фундаментальні проблеми психометричної валідності в умовах «холодного старту» та розріджених даних — проблем, що є критичними для сучасного дизайну оцінювання, стійкого до впливу ШІ.
Головні твердження та перевірені цитати
Орієнтовний переклад: “Наші експерименти показують, що ці апріорні значення, після калібрування за записами відповідей через пам'ять, зумовлену цільовим показником, покращують діагностичну точність і надійність в умовах розріджених даних та «холодного старту».”* (машинний переклад) — 10.48550/arxiv.2609.12403, с. 8, абз. 21 (exact)
Орієнтовний переклад: “PLCD вловлює психологічно значущу структуру в латентному просторі та здатна розрізняти різні типи когнітивних дефіцитів, як-от помилки семантичного перекладу та процедурні збої.”* (машинний переклад) — 10.48550/arxiv.2609.12403, с. 8, абз. 21 (exact)
Обмеження та особливості дослідження
- Модель залежить від якості та чіткості тексту вправ і описів концептів для генерації структурованих когнітивних доказів.
- Дослідження оцінює когнітивну діагностику переважно через метрики прогнозування успішності, що не забезпечує прямої оцінки причинно-наслідкових механізмів навчання.
- Ця структура не є повноцінною заміною для лонгітюдного освітнього оцінювання та вимагає нагляду з боку людини при прийнятті критично важливих рішень.
- підтримує Традиційні CDM страждають від семантичних обмежень при появі нових вправ або концептів. «As a result, CDMs suffer from semantic limitations when new exercises or concepts appear.», с. 1, абз. 7
- підтримує Існуючі методи, що розглядають мову як допоміжні ознаки для CDM на основі ID, все ще намагаються вийти за межі притаманних обмежень ID-ембедингів. «As a result, these methods still struggle to transcend the inherent limitations of ID embeddings.», с. 2, абз. 1
- [Methodology / Валідність вимірювань]: Хоча модель покращує точність прогнозування, вона залишається фундаментально інструментом для передбачення результатів; у статті зазначено, що її не слід інтерпретувати як таку, що фіксує прямі причинно-наслідкові механізми навчання.