MisconceptDialogue: Evaluation Criteria Shape Measured Success in LLM Math Tutoring
Автори: Woojin Lee, Yoonkyu Woo, Jinah Kim, Hyeok-Min Gwon, Jin‐Xia Huang
Видання / Джерело: arXiv (Cornell University) (2026)
Критерії оцінювання визначають вимірюваний успіх репетиторства на основі штучного інтелекту набагато сильніше, ніж модель репетитора, педагогічна стратегія чи надана діагностична інформація разом взяті.
Головне з роботи
- Оцінювання за точним збігом занижує успішність усунення пробілів у діалозі майже на сорок відсоткових пунктів порівняно з відкаліброваними людиною суддями LLM, які оцінюють концептуальне розуміння.
- Чотири незалежні судді LLM з трьох сімейств моделей збігаються в межах шести відсоткових пунктів і тісно узгоджуються з консенсусом людей на чистих діалогах.
- Контекст історії діалогу покращує виявлення помилок на незбалансованих наборах даних, але погіршує продуктивність на збалансованих наборах даних через використання упереджень апріорних класів.
- Здатність виявляти помилки не передбачає точності діагностики хибних уявлень, що підкреслює фундаментальну різницю між визначенням помилок і діагностикою помилок у міркуваннях.
- Надання репетиторам LLM явних діагнозів хибних уявлень або інформації про ораклові помилки не забезпечує статистично значущого покращення порівняно з прямим репетиторством.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
Large language models are increasingly used as math tutors, raising two questions: can a single LLM detect a student's error, diagnose the underlying misconception, and remediate it through multi-turn dialogue - and can we trust the numbers that report how well it does? We address both with MISCONCEPTDIALOGUE, a fully automated framework that runs the full pipeline on five open-weight LLM tutors (7B-14B) interacting with LLM-simulated students over 5,000+ dialogues - a deliberately simulated protocol (paired conditions, a wrong-diagnosis control unsafe with real learners, scale) whose results do not establish real-student learning. On measurement, our headline finding is uncomfortable for the field: benchmark-style exact-match scoring common in standard math NLP - a lower-bound stress test - reports 42.1% measured Remediation Success Rate on identical dialogues where a human-calibrated LLM-as-judge reports 81.3%, a 39.2 percentage-point spread larger than the combined effects of tutor model, teaching strategy, and supplied diagnostic information. This is not a single-judge artifact: four independent LLM judges and 200 human annotations converge to within a few points (kappa up to 0.91). On capability, the verdict is equally striking: the score barely changes whether we tell the tutor the student's actual misconception or a deliberately swapped one - under the tested diagnosis-presentation format, these tutors show little evidence of reliably conditioning on the diagnostic information they are handed. For LLM tutoring evaluation to mature, multi-criterion scoring with multi-judge convergence and human anchoring should become standard practice - and the measurement question deserves as much scrutiny as the capability question it claims to answer.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Демонструє, як критерії оцінювання тесту змінюють вимірювану конструктну валідність при оцінюванні тих, хто складає тести, та репетиторів на основі генеративного штучного інтелекту.
- Надає статистичні методи (парне тестування МакНемара, тестування еквівалентності TOST, каппа Флейсса/Коена) для оцінювання автоматизованих оцінювачів LLM проти людського консенсусу.
- Встановлює емпіричні межі для обумовлення LLM та діагностичної обробки під час автоматизованого формувального оцінювання.
Методологія та вибірка
The study evaluates five open-weight models (Qwen-2.5-7B, Mistral-7B, Llama-3.1-8B, Phi-4 14B, Qwen3.5-9B) plus two proprietary models (Claude Haiku 4.5, Gemini 3.1 Flash Lite). Detection is tested on BEA 2025 (N=300), MathDial (N=2,262), and Bridge (N=419). Diagnosis uses the Math Misconceptions Benchmark (N=220, 55 middle-school algebra misconceptions). Remediation is tested across 106 instantiated scenarios using GPT-5-mini simulated students across 2,250 dialogues in Exp. 3 and 3,180 dialogues in Exp. 4. A human calibration study evaluates 200 quality-stratified dialogues (100 clean, 100 borderline) using three blinded human raters.
Чому варто прочитати
Ця робота слугує критичним попередженням щодо валідності для дослідників, які оцінюють генеративний штучний інтелект в освітньому оцінюванні: стандартні критерії оцінювання NLP за точним збігом спотворюють вимірювану ефективність репетиторства майже на 40 відсоткових пунктів. Шляхом ретельного відокремлення критеріїв оцінювання від артефактів генерації на понад 5000 діалогах, чотирьох моделях суддів та 200 оцінках людей вона встановлює важливу методологію для оцінювання за допомогою ШІ, психометричного вирівнювання та автоматизованого оцінювання діалогів.
Головні твердження та перевірені цитати
Орієнтовний переклад: “оцінювання за допомогою точного збігу у стилі бенчмарку, поширене у стандартній математичній обробці природної мови (NLP) — стрес-тест із нижньою межею — показує 42,1% виміряного успіху корекційного навчання на ідентичних діалогах, тоді як откалібрована людиною LLM як суддя показує 81,3%”* (машинний переклад) — 10.48550/arxiv.2610.31679, с. 1, абз. 5 (exact)
Орієнтовний переклад: “багатоходовий контекст покращує видиме виявлення на незбалансованих даних, але погіршує його на даних зі змішаними мітками для всіх п'яти моделей.”* (машинний переклад) — 10.48550/arxiv.2610.31679, с. 2, абз. 4 (exact)
Обмеження та особливості дослідження
- Єдиний детектор: не згадано в тексті
- Немає змагального тестування: не згадано в тексті
- Поведінка учнів симулюється за допомогою LLM, що не може повністю відобразити когнітивний рівень реальних учнів, їх мовне походження чи афективні реакції.
- Сценарії усунення пробілів обмежені 55 хибними уявленнями з алгебри середньої школи, що обмежує узагальнюваність домену.
- Контроль діагностики перевіряв сприйняття міток в одному форматі представлення, що обмежує висновки щодо альтернативних форматів підказок.
- Моделі репетиторів були обмежені переважно діапазоном параметрів 7B-14B, залишаючи динаміку моделей 70B+ неперевіреною.
- підтримує LLM-репетитори поступаються традиційним інтелектуальним системам навчання в адаптивності та відстають від репетиторів-людей. «Borchers and Shou (2025) show LLMs still trail traditional ITS in adaptivity, and MathTutorBench (Macina et al., 2025) documents persistent gaps versus human tutors.», с. 3, абз. 3
- підтримує Оцінювачі LLM виявляють упередженість самопереваги до виходів, згенерованих власним сімейством моделей. «models favor their own outputs (Panickssery et al., 2024), and both human and LLM judges are vulnerable to misinformation oversight», с. 3, абз. 5
- [метрика / невідповідність критеріїв]: Стандартні критерії точного збігу бенчмарків фундаментально хибно вимірюють багатоходові освітні діалоги, змішуючи поверхневе представлення рядків із концептуальним розумінням.
- [метод / конструктна валідність]: F1 виявлення помилок зазвичай використовується як проксі для педагогічної діагностичної здатності, але емпіричне оцінювання виявляє повну дисоціацію між ідентифікацією помилок та діагностикою хибних уявлень.