Can a System-One LLM Perform Knowledge Tracing When Few or No Learners Are Logged?
Автори: Unggi Lee, Haeun Park
Видання / Джерело: arXiv (2026)
Однопрохідна LLM «Системи-1» прогнозує успішність студентів у нових курсах краще, ніж моделі глибокого навчання, навчені на невеликих когортах.
Головне з роботи
- Однопрохідні LLM із нульовим навчанням можуть прогнозувати точність учнів на нових платформах без потреби в логах взаємодії зі студентами.
- Надання статистики точності схожого учня поширює перевагу холодного старту над моделями глибокого відстеження знань на розміри когорт до 64 студентів.
- Ланцюжки міркувань «Системи-2» збільшують затримку та вартість на кілька порядків без покращення точності прогнозування відстеження знань.
- Моделі глибокого навчання для відстеження знань під наглядом вимагають від 64 до 128 зареєстрованих учнів перед тим, як стабільно перевершувати прогнози готової LLM «Системи-1».
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
Knowledge tracing (KT) models need many logged learners, so a new course or platform starts without a usable model. In LLM-based KT the LLM generates the answer, which we call System-Two; it is either fine-tuned on the target data or reasons and votes over ten samples, which is slow and gives coarse probabilities. We ask whether an off-the-shelf System-One LLM, which returns a probability for a typed question directly in a single pass, can perform KT when few or no learners are logged. On seven datasets, Jev without any data from the target platform reaches a mean AUC of .706, above the best of 28 deep KT models trained on 8 learners (.689) and above System-Two Thinking-KT on all seven datasets (.650) at about 1/100 of its API cost. Adding examples and a similar-learner statistic from the logged learners (JevKT) raises this to .722; JevKT stays significantly ahead of deep KT up to 16 learners and ahead on average up to 64, and supervised KT catches up between 64 and 128 learners. Among the readers we tested, the gain is specific to Jev, since three other LLMs queried with the byte-identical typed request through the official System-One adapter fall below it on all seven datasets, and reader swaps and contamination checks find no evidence that the input format or memorised data explain the gain. For new learners the advantage holds from their first interactions, whereas on unseen items with all learners logged, deep KT remains ahead.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Надає кількісні докази того, як генеративні LLM моделюють успішність студентів і прогнозують точність відповідей на тести без кастомного перенавчання.
- Пропонує еталонний метод оцінки точності та складності елементів за умов синтетичного прогнозування або прогнозування студентів із нульовим навчанням.
- Демонструє статистичне калібрування та взаємодію параметрів елементів у моделюванні студентів із нульовим навчанням порівняно з навчанням під наглядом.
Методологія та вибірка
Evaluated on 7 benchmark knowledge tracing datasets (ASSIST2009, NIPS34, XES3G5M, DBE-KT22, Algebra2005, Junyi, ASSIST17) comprising over 6 million interactions across thousands of items and knowledge components. Baselines included 28 pyKT deep knowledge tracing architectures (DKT, AKT, simpleKT, csKT, etc.), classical psychometric models (BKT, PFA), and System-Two LLM baselines (Thinking-KT, LOKT, CLST) using Qwen3.5-9B and Mistral-7B.
Чому варто прочитати
Ця робота переосмислює проблему холодного старту в освітньому аналізі даних, показуючи, що однопрохідні ймовірнісні мови перевершують спеціалізовані архітектури глибокого навчання в умовах дефіциту даних. Для спеціалізації оцінювання та проектування платформ вона надає практичний, готовий до калібрування метод моделювання студентів, який дозволяє уникнути дорогих циклів перенавчання під час раннього розгортання курсів.
Головні твердження та перевірені цитати
Орієнтовний переклад: “Без жодних даних про учнів Jev0-shot досягає середнього AUC .706, що перевищує найкращу модель глибокого трасування знань (KT), навчену на 8 учнях (.689), і перевищує Thinking-KT на всіх семи наборах даних.”* (машинний переклад) — 10.48550/arxiv.2610.11135, с. 1, абз. 12 (exact)
Орієнтовний переклад: “Для вивчених нами ваг і зчитувачів типізований формат не дає приросту; його дає модель.”* (машинний переклад) — 10.48550/arxiv.2610.11135, с. 5, абз. 21 (exact)
Обмеження та особливості дослідження
- Мала вибірка: немає
- Нерепрезентативна вибірка: немає
- Єдиний детектор: не згадано в тексті
- Лише одна мова: не згадано в тексті
- Оцінено переважно на одній закритій комерційній моделі «Системи-1» (Jev), оскільки відкриті аналоги, такі як Laya, не змогли досягти порівнянної точності.
- Результати щодо міркувань «Системи-2» перевірялися на магістральних архітектурах Qwen3.5-9B і можуть автоматично не поширюватися на набагато більші архітектури міркувань.
- Висновок на основі API створює залежність від версій моделей, що розміщуються постачальником, хоча короткострокові повторні запити продемонстрували високу стабільність.
- підтримує Пропонування стандартним мовним моделям необроблених історій взаємодії дає точність, близьку до випадкової, без контекстної популяційної статистики. «Given only a raw interaction history, however, a prompted LLM predicts close to chance (Neshaei et al., 2024; Worden et al., 2026).», с. 3, абз. 2
- [метод / концептуальна невідповідність]: Кидає виклик панівній у штучному інтелекті в освіті припущенню про те, що складні багатокрокові сліди міркувань або доопрацьовані архітектури глибокого навчання необхідні для досягнення точних персоналізованих прогнозів продуктивності елементів під час режимів холодного старту.