From Diagnosis to Generalization: A Cognitive Approach to Data Selection for Educational LLMs
Автори: Yuxiang Guo, Yan Zhuang, Qi Liu, Zhenya Huang, Xianquan Wang, Liyang He, Jiatong Li, Rui Li, Shijin Wang
Видання / Джерело: Proceedings of the AAAI Conference on Artificial Intelligence (2026)
Застосування багатовимірної теорії тестів та інформації Фішера для вибору навчальних даних мовних моделей покращує міжпредметну генералізацію та внутрішньодоменну кваліфікацію.
Головне з роботи
- Багатовимірна теорія тестів ефективно діагностує приховану когнітивну межу мовної моделі за кількома вимірами навичок за допомогою збуреного поведінкового зондування.
- Вибір навчальних питань шляхом максимізації детермінанта матриці інформації Фішера виокремлює запитання на точному порозі можливостей моделі.
- Поетапне доопрацювання мовної моделі через навчальну програму від простого до складного стабілізує навчання та покращує міжпредметний перенесення.
- Психометричний відбір даних із використанням десяти відсотків допоміжної підмножини перевершує тренування на повному наборі даних та базові підходи на основі градієнтів.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
Specializing Large Language Models for educational domains is a key frontier in creating personalized learning tools. The central challenge is not data scarcity but its abundance: efficiently selecting a curated data subset from vast corpora to enhance specialized skills and foster generalization, without degrading existing abilities. Existing data selection paradigms, relying on superficial semantic similarity or model training dynamics, often lack a principled framework to identify data that promotes true cognitive growth. Our work proposes a paradigm shift from leveraging indirect proxies of learning value, such as semantic similarity and training dynamics, towards a framework that performs a direct, cognitive-level modeling of the learner's state. We introduce CASS, a novel framework that implements this cognitive approach through a clear pipeline, moving from an initial Diagnosis to the ultimate goal of expanding the model's cognitive frontier. First, CASS diagnoses the LLM's cognitive frontier using Multidimensional Item Response Theory. Leveraging this diagnosis, it then employs Fisher Information to select a data subset situated at LLM's cognitive frontier that offers maximum informational gain. Finally, the model is fine-tuned on this curated data using a structured, easy-to-hard curriculum to ensure effective learning. Experiments on our new multi-subject dataset show that models trained with CASS not only achieve superior accuracy in the target domain but also exhibit enhanced generalization. CASS provides a more efficient, effective, and theoretically-grounded paradigm for building expert educational LLMs.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Демонструє використання багатовимірної теорії тестів (2PL-MIRT) для моделювання мовних моделей як респондентів тестів за елементами стандартизованих предметних доменів.
- Надає методологію для кількісної оцінки складності завдань та меж можливостей моделі у репозиторіях синтетичних або автоматизованих тестових завдань.
- Показує, як поведінкове зондування (перестановка вмісту варіантів, зміщення ключів варіантів) запобігає вивченню ярликів під час діагностики здібностей моделі.
Методологія та вибірка
Оцінено на EduData, наборі даних із 98 000 складних питань із єдиною відповіддю для старшої школи з семи предметів (14 000 елементів на предмет; 10 000 для навчання, 4 000 для тестування). Протестовано на трьох базових архітектурах (LLaMA3-8B, Qwen2.5-1.5B, Qwen2.5-7B), спеціалізованих для кожного предмета та доопрацьованих на 10% допоміжному пулі даних, підібраному за допомогою 200-вимірного 2PL-MIRT та інформації Фішера. Базові методи включали LESS (узгодження градієнтів), DSIR (ресемплінг n-грам), DEFT-Few (KNN ембеддинги), BM25 та випадковий відбір.
Чому варто прочитати
Ця робота демонструє нове застосування психометрії в тренуванні моделей штучного інтелекту, перетворюючи теорію тестів з інструменту постфактум-оцінки на активний механізм відбору даних для великих мовних моделей. Формулюючи задачу вибору даних для навчання мовних моделей як проблему когнітивних вимірювань, яка вирішується за допомогою інформації Фішера, робота поєднує психометричну теорію та параметрично ефективну адаптацію моделей.
Головні твердження та перевірені цитати
Орієнтовний переклад: “По-перше, CASS незмінно й суттєво перевершує всі базові методи в усіх налаштуваннях.”* (машинний переклад) — 10.1609/aaai.v40i26.39300, с. 6, абз. 18 (exact)
Орієнтовний переклад: “бюджет вибірки в 10% є чудовим компромісом між продуктивністю та ефективністю.”* (машинний переклад) — 10.1609/aaai.v40i26.39300, с. 7, абз. 19 (exact)
Обмеження та особливості дослідження
- Мала вибірка: немає
-
Нерепрезентативна вибірка:
виявлено
“EduData consists of 98,000 challenging high-school-level problems curated from mock and college entrance examinations across seven distinct academic subjects” (с. 5)
- Лише одна мова: не згадано в тексті
- Єдиний детектор: не згадано в тексті
- Немає змагального тестування: немає
- Оцінка параметрів для 2PL-MIRT вимагає збору векторів поведінкових відповідей на великих масивах допоміжних даних до початку відбору.
- Оцінювання обмежувалося питаннями з множинним вибором для старшої школи з семи стандартних екзаменаційних предметів.
- Картографія набору даних відстежує динаміку навчання для виявлення неоднозначних зразків, які мають вирішальне значення для продуктивності поза доменом. «By tracking training dynamics, it finds that ambiguous samples—not necessarily the hardest ones—are most crucial for OOD performance.», с. 2, абз. 9
- суперечить Відбір даних на основі представлень припускає, що семантична подібність передбачає корисність для навчання, що часто не спрацьовує в складних освітніх доменах. «Their core limitation is the assumption that semantic similarity is a reliable proxy for learning utility, which often fails in complex educational domains.», с. 2, абз. 9
- [метод / концептуальна невідповідність]: Класична теорія тестів припускає стабільність прихованих рис людини з часом, тоді як оновлення параметрів мовної моделі під час доопрацювання динамічно змінює параметри складності питань та оцінки прихованих навичок на різних етапах навчальної програми.