Beyond Response Scoring: An AI-aware Cognitive Supervision Framework for Automated Mathematical Short Answer Grading
Автори: Shengran Guo, Min Chi, Feifei Qiao, Varad Patwardhan
Видання / Джерело: arXiv (2026)
Спільний нагляд за автоматичним оцінюванням з математики за допомогою психометричних моделей навичок та м'якого виявлення ШІ значно покращує точність і стійкість до допомоги GenAI.
Головне з роботи
- Інтеграція психометричних моделей навичок з нейронними енкодерами різко зменшує похибку оцінювання порівняно з моделями нейронної регресії лише за балами.
- М'яке зважування надійності підозрюваного тексту, створеного ШІ, захищає оцінки когнітивних навичок без зміни чи штрафування балів за відповіді.
- Цілі опанування до та після тестування забезпечують сильніший нагляд за автоматичним оцінюванням коротких відповідей, ніж самі лише цілі приросту навчання.
- Детектори генеративного ШІ можуть служити безперервними вагами впевненості для психометричного моделювання, а не бінарними фільтрами порушень.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
Transformer-based language models have achieved remarkable success in automated short answer grading (ASAG). However, current methods in ASAG struggle to comprehend, reason about and evaluate complex mathematical answers involving symbols and formulas. These score-only methods fail to generalize across diverse responses and skill states associated with identical scores. Moreover, they ignore the potential upward bias introduced by generative Artificial Intelligence (AI) usage in assessing students' performance and knowledge mastery. To address these limitations, we propose AICG (AI-aware Cognitive-supervised Grading), a two-branch multi-task framework. The first branch combines RoBERTa-based regression, ordinal, and classification heads for individual-answer grading. The second branch uses an expert-designed Q-matrix to associate responses with assessed skills and jointly predicts G-DINA-derived skill mastery and learning gain. Through the shared encoder, these skill-level targets provide cognitive supervision for answer grading beyond score labels. AICG further uses a Gen-AI detector, trained through supervised contrastive pretraining followed by linear classification, to estimate assistance probabilities and convert them into reliability weights, attenuating unreliable cognitive evidence during learning assessment. We conduct experiments on 49,402 instructor-graded responses spanning 19 academic semesters. Relative to RoBERTa regression, AICG reduces mean absolute error (MAE) by 50.3% and improves quadratic weighted kappa (QWK) from 0.798 to 0.927. Ablations identify Q-matrix-guided cognitive supervision as the primary source of improvement, while AI-aware weighting further reduces overall MAE by 4.2% over the unweighted cognitive model and consistently improves MAE and QWK across the four most recent post-Gen-AI semesters.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Демонструє, як інструменти генеративного ШІ спотворюють психометричні висновки (оцінку опанування навичок) без обов'язкового змінення балів за відповіді.
- Надає інженерний контрзахід проти деградації валідності оцінок за непрокторизованих/неконтрольованих умов шляхом застосування безперервного зважування надійності.
- З'єднує автоматизоване оцінювання коротких відповідей із формальним моделюванням відповідей на пункти та когнітивною діагностикою (G-DINA).
Методологія та вибірка
Набір даних містить 49 402 оцінені викладачами математичні короткі відповіді з 3861 запису студент-семестр в університеті протягом 19 семестрів (з осені 2014 по осень 2024 року). Оцінені моделі включають AICG (багатозадачний енкодер RoBERTa з когнітивним наглядом G-DINA та контрастивним детектором ШІ), BERT, регресію RoBERTa, ASQ-DBN, нульовий GPT-4o та GradeOpt (багатоагентна оптимізація рубрик LLM). Оцінювання використовує часовий розріз із розширюваним вікном на 10 років.
Чому варто прочитати
Ця стаття представляє нову парадигму автоматизованого оцінювання за допомогою генеративного ШІ: замість використання детекторів ШІ для покарання студентів або відхилення подань, вона використовує ймовірності м'якого виявлення ШІ для послаблення пошкоджених психометричних даних, зберігаючи при цьому стандартне оцінювання. Вона пропонує математично обґрунтований підхід до поєднання моделей нейронної мови з моделями когнітивної діагностики (G-DINA) для стійких освітніх вимірювань.
Головні твердження та перевірені цитати
Орієнтовний переклад: “Порівняно з регресією RoBERTa, AICG зменшує середню абсолютну похибку (MAE) на 50,3% і покращує квадратично зважене каппа (QWK) від 0,798 до 0,927.”* (машинний переклад) — 10.48550/arxiv.2610.41215, с. 1, абз. 7 (exact)
Орієнтовний переклад: “Порівняно з GradeOpt, найсильнішим зовнішнім базлайном, AICG зменшує MAE на 44,9%, покращує QWK від .842 до .927 та збільшує толерантну й точну точність на 8,7%–15,7% відсоткових пунктів.”* (машинний переклад) — 10.48550/arxiv.2610.41215, с. 6, абз. 7 (exact)
Обмеження та особливості дослідження
- Мала вибірка: немає
-
Нерепрезентативна вибірка:
виявлено
“Future work will learn Q-matrices from response text, improve detector robustness across LLMs, evaluate cross-course and multi-institution generalization, and use mastery and learning-gain profiles for personalized feedback.” (с. 7)
- Немає змагального тестування: не згадано в тексті
- Вимагає Q-матриці, створеної експертом-людиною, яка зіставляє пункти оцінювання з базовими когнітивними навичками.
- Оцінено на одному домені університетського курсу (вступні принципи теорії ймовірностей).
- Синтетичні дані з підтримкою ШІ для навчання детекторів спиралися на маскування та реконструкцію за допомогою єдиного сімейства LLM (DeepSeek).
- підтримує Поточні мовні моделі залишаються ненадійними в доменно-специфічних символічних і композиційних математичних міркуваннях. «Current language models remain unreliable in domain-specific symbolic and compositional reasoning (Latif and Zhai 2024; Jiang and Bosch 2024; Ferreira Mello et al. 2025) and may misinterpret valid intermediate or mathematically equivalent work.», с. 1, абз. 11
- [метод / концептуальна прогалина]: Демонструє, що LLM, які використовуються як прямі цензори нульового пострілу або оптимізовані за рубриками оцінювачі (GPT-4o, GradeOpt), поступаються спеціалізованим доопрацьованим багатозадачним моделям Transformer, заснованим на психометричних когнітивних представленнях.