EduClaw-Bench: A Long-Horizon Benchmark for Pedagogical LLM Agents with Simulated Learners
Автори: Unggi Lee, Sookbun Lee, Yeil Jeong, Eunjoo Lee, Minchul Shin, Hoilym Kwon
Видання / Джерело: arXiv (2026)
Стандартні методи оцінювання ШІ-репетиторів часто вводять в оману, оскільки базуються на метриках однієї сесії, не враховуючи провали в навчанні, які виникають при тривалій взаємодії з агентом.
Головне з роботи
- Якість репетиторства визначається не окремим агентом чи базовою моделлю, а ефективністю їхньої конкретної комбінації.
- Більшість сучасних ШІ-агентів не здатні підтримувати прогрес учня довше ніж 5-10 днів, що вказує на потребу в кращому довгостроковому педагогічному проєктуванні.
- Існує компроміс між негайною реакцією та корисністю: репетитори, які відповідають на кожен запит миттєво, часто отримують нижчі бали за педагогічними критеріями.
- Рейтинги успішності навчання нестабільні залежно від моделей учнів, тоді як рубрики корисності забезпечують надійнішу основу для оцінки ШІ-репетиторів.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
Large language models (LLMs) power educational applications from tutoring to essay scoring, but each is a point solution to a single task, and only recently have these point solutions been integrated into agents operating over a learning management system (LMS). Yet tutoring is long-horizon, since a learner improves over days and weeks rather than in a single turn, and no benchmark evaluates an agent tutor across a sustained relationship. We introduce EduClaw-Bench, a benchmark that places an agent tutor in a continuous 30-day relationship with a simulated learner grounded in knowledge tracing (KT), whose knowledge-concept mastery, from a KT model trained on real-student data, drives its answers and is probed for learning gain across 55 scenarios. Each agent is scored on three primary axes (learning gain, responsiveness, and helpfulness) and two curriculum-design axes (Gagné and Rosenshine), with helpfulness and the curriculum axes judged by a cross-family panel of three LLM judges. Evaluating 10 agent adapters over three base-model tiers yields two findings that single-tier, single-session evaluation cannot reach. First, tutoring quality belongs to the base model and the agent harness together rather than either alone. Second, almost no combination sustains good tutoring over the full horizon. A calibration check ($\text{ECE}=0.049$) and a live-classroom field study confirm that the simulated learner and its measurements track reality. Our work is a step toward trustworthy AI tutors for future education.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Важливо для розуміння валідності та ефективності автоматизованих педагогічних агентів у часі.
- Надає конкретну методологію для побудови стійких до ШІ бенчмарків, що враховують довгострокове залучення учнів.
Методологія та вибірка
Бенчмарк оцінює 10 агентних адаптерів на трьох рівнях базових моделей (Solar-pro3, Codex-gpt5.5, Qwen3-4B-Thinking). Набір даних включає 55 сценаріїв для кожної комбінації агент-модель, що охоплюють 11 типів особистостей учнів та 5 графіків навчання, загалом понад 8 600 завершених ітерацій. Симульовані учні базуються на моделі відстеження знань (AKT), навченій на 5 027 реальних послідовностях дій учнів із набору даних XES3G5M.
Чому варто прочитати
Ця стаття надає перші систематичні докази того, що популярні бенчмарки для ШІ-репетиторів є фундаментально недосконалими через покладання на метрики окремих сесій. Вона пропонує сувору, багаторазову структуру для поздовжнього оцінювання та практичні запобіжні заходи для педагогів, які впроваджують ШІ-агентів, що робить її важливою для кожного, хто проєктує або перевіряє ШІ для тривалого навчання в класі.
Головні твердження та перевірені цитати
Немає верифікованих цитат для цієї статті.
Обмеження та особливості дослідження
- Симульовані учні залишаються лише проксі-моделями і не можуть повністю відтворити складність та непередбачуваність реальних учнів у класі.
- Бенчмарк зосереджений на початковій математиці і може не поширюватися на інші предмети або старші вікові групи учнів.
- Варіативність успішності навчання між агентами має високий рівень шуму на малих масштабах, тому її варто використовувати лише як індикатор моніторингу, а не як суворий критерій проходження тесту.
- [час / методологічний пробіл]: Автори зазначають, що статичні лог-бенчмарки не здатні вловити цикл активного навчання, тоді як EduClaw-Bench змушує агента взаємодіяти з динамічною моделлю учня.