Automated L2 Proficiency Scoring: Weak Supervision, Large Language Models, and Statistical Guarantees
Aitor Arronte Alvarez, Naiyi Xie Fincham · Workshop on Innovative Use of NLP for Building Educational Applications (2025) · doi:10.18653/v1/2025.bea-1.30 · gemini-3.6-flash
Суть роботи
Автоматичне оцінювання мовних навичок учнів часто спирається на невеликі набори даних, оцінені людьми, або на ненадійні рейтинги штучного інтелекту. Це дослідження представляє статистичну структуру, яка використовує невеликий набір відповідей студентів, оцінених експертами, щоб безпечно коригувати та розширювати прогнози на більші неанотовані практичні сесії. Отриманий метод збільшує обсяг корисних даних оцінювання більш ніж на 150% і підвищує точність оцінювання без шкоди для статистичної валідності.
Метод і вибірка: Вибірка: 1 721 текстова розмовна сесія, згенерована 121 учнем середнього рівня (CEFR B1-B2) англійської мови, які взаємодіяли з агентом ШІ протягом 3 місяців (у середньому 8,9 ходів за сесію). Золотий стандарт істинності складався з 590 сесій, оцінених людьми (445 для навчання, 145 для оцінювання), спільно анотованих експертами за шкалами діапазону словникового запасу CEFR (1-3) та граматичної точності (1-4). Оцінені моделі: XGBoost і LightGBM, навчені на 9 витягнутих лексичних/синтаксичних ознаках, порівняно з базовими моделями LLM без попереднього навчання (GPT-4o та GPT-4o-mini). Протокол усунення упереджень застосовував вивід на основі прогнозів (PPI) у рамках зі слабким наглядом (WSL) та напівконтрольованих налаштуваннях.
#Automated Scoring#L2 Proficiency#Prediction-Powered Inference#Weak Supervision#Large Language Models#Assessment Validity#Semi-Supervised Learning#CEFR