From Scoring to Explanations: Evaluating SHAP and LLM Rationales for Rubric-based Teaching Quality Assessment
Ivo Bueno, Babette Bühler, Philipp Stark, Tim Fütterer, Ulrich Trautwein, Dorottya Demszky, Heather Hill, Enkelejda Kasneci · arXiv (2026) · doi:10.48550/arxiv.2606.05180 · gemini-3.6-flash
Суть роботи
Це дослідження перевіряє, чи можуть моделі штучного інтелекту пояснити, чому вони ставлять конкретні оцінки якості транскриптам шкільних уроків. Хоча менші допрацьовані моделі штучного інтелекту давали більш точні прогнози оцінок, статистичні пояснення SHAP виявилися набагато надійнішими, ніж пояснення, написані великими мовними моделями. Отримані результати свідчать про те, що пояснення, згенеровані безпосередньо великими мовними моделями, не слід сприймати як справжнє виправдання автоматизованих освітніх оцінок.
Метод і вибірка: У дослідженні проаналізовано 6005 15-хвилинних сегментів транскриптів класів з 1600 уроків математики в початковій школі з корпусу NCTE (4775 для тренування, 1230 для тестування), анотованих за виміром якості зворотного зв'язку CLASS за шкалою від 1 до 7. Допрацьовані моделі енкодерів (BERT, ALBERT, RoBERTa, DeBERTaV3 base/large) порівнювалися з 4-бітними квантованими відкритими мовними моделями з інструктивним налаштуванням (Llama 3.1 8B/70B, Mixtral 8x7B/8x22B, Qwen 3 4B/30B/235B, Mistral Small/24B). Базові лінії включали базові моделі константного середнього/медіанного значення та випадкове видалення речень однакової довжини.
#Автоматизоване оцінювання#Оцінювання за рубрикатором#Раціоналізації мовних моделей#SHAP#Вірність пояснень#Система оцінювання якості уроку#Оцінювання якості викладання