Стаття на сьогодні: наукова робота про ШІ в освіті

Валідність оцінювання в епоху генеративного ШІ, ШІ-резистентні завдання, дрейф і компрометація в освітніх вимірюваннях — лише роботи, які ми прочитали повністю, з перевіреними цитатами.

Стаття за 2026-11-16

6.9
psychometric_modeling

Beyond Response Scoring: An AI-aware Cognitive Supervision Framework for Automated Mathematical Short Answer Grading

Shengran Guo, Min Chi, Feifei Qiao, Varad Patwardhan · arXiv (2026) · doi:10.48550/arxiv.2610.41215 · gemini-3.6-flash

Суть роботи

Традиційні системи автоматичного оцінювання мають труднощі з оцінюванням покрокових математичних міркувань і можуть бути введені в оману відповідями студентів, згенерованими за допомогою ШІ. Це дослідження представляє фреймворк, який базує автоматичне оцінювання на конкретних математичних навичках, використовуючи допоміжний детектор для зниження ваги відповідей, створених ШІ, в оцінках опанування навичок. Протестована на майже 50 000 відповідей студентів університетів, система різко покращує точність оцінювання, зберігаючи справедливе оцінювання для всіх студентів.

Метод і вибірка: Набір даних містить 49 402 оцінені викладачами математичні короткі відповіді з 3861 запису студент-семестр в університеті протягом 19 семестрів (з осені 2014 по осень 2024 року). Оцінені моделі включають AICG (багатозадачний енкодер RoBERTa з когнітивним наглядом G-DINA та контрастивним детектором ШІ), BERT, регресію RoBERTa, ASQ-DBN, нульовий GPT-4o та GradeOpt (багатоагентна оптимізація рубрик LLM). Оцінювання використовує часовий розріз із розширюваним вікном на 10 років.

#Автоматизоване оцінювання коротких відповідей#Моделі когнітивної діагностики#G-DINA#Виявлення генеративного ШІ#Валідність оцінювання#Багатозадачне навчання#Теорія відповідей на пункти

Повний розбір статті →