MisconceptDialogue: Evaluation Criteria Shape Measured Success in LLM Math Tutoring
Woojin Lee, Yoonkyu Woo, Jinah Kim, Hyeok-Min Gwon, Jin‐Xia Huang · arXiv (Cornell University) (2026) · doi:10.48550/arxiv.2610.31679 · gemini-3.6-flash
Суть роботи
Оцінювання того, наскільки ефективно репетитори з математики на базі штучного інтелекту усувають хибні уявлення учнів, значною мірою залежить від обраних критеріїв оцінювання. Коли багатоходові діалогах репетиторства оцінюються за допомогою суворого збігу точних відповідей, репетитори зі штучним інтелектом виглядають успішними лише в 42% випадків порівняно з 81%, якщо їх оцінюють відкалібровані людиною судді зі штучного інтелекту, які приймають валідні концептуальні міркування. Крім того, надання репетиторам зі штучним інтелектом детальними діагнозами хибних уявлень не дає жодної вимірюваної користі для навчання порівняно з прямим репетиторством.
Метод і вибірка: The study evaluates five open-weight models (Qwen-2.5-7B, Mistral-7B, Llama-3.1-8B, Phi-4 14B, Qwen3.5-9B) plus two proprietary models (Claude Haiku 4.5, Gemini 3.1 Flash Lite). Detection is tested on BEA 2025 (N=300), MathDial (N=2,262), and Bridge (N=419). Diagnosis uses the Math Misconceptions Benchmark (N=220, 55 middle-school algebra misconceptions). Remediation is tested across 106 instantiated scenarios using GPT-5-mini simulated students across 2,250 dialogues in Exp. 3 and 3,180 dialogues in Exp. 4. A human calibration study evaluates 200 quality-stratified dialogues (100 clean, 100 borderline) using three blinded human raters.
#Аргументи валідності#LLM як оцінювачі#LLM як ті, що складають тести#Редизайн оцінювання#Математична освіта#Автоматизоване оцінювання#Надійність між суддями