Automated L2 Proficiency Scoring: Weak Supervision, Large Language Models, and Statistical Guarantees
Автори: Aitor Arronte Alvarez, Naiyi Xie Fincham
Видання / Джерело: Workshop on Innovative Use of NLP for Building Educational Applications (2025)
Вивід на основі прогнозів дозволяє напівконтрольованим моделям оцінювання безпечно розширити розмір вибірки на 157% із гарантованою статистичною достовірністю.
Головне з роботи
- Наївне покладання на виходи мовних моделей як на еталонні оцінки знецінює статистичний вивід, оскільки моделі призначають високу впевненість помилковим оцінкам.
- Застосування виводу на основі прогнозів до напівконтрольованих моделей машинного навчання розширює корисні дані оцінювання на 157% із 97% емпіричним покриттям.
- Поєднання невеликих золотих стандартних наборів даних людей з виводом на основі прогнозів дає до 23,2% приросту точності автоматичного оцінювання словникового запасу L2.
- Моделі градієнтного бустингу, навчені на витягнутих лінгвістичних ознаках, перевершують мовні моделі з нульовим навчанням (zero-shot LLMs), коли вони інтегровані в очищені від упереджень статистичні протоколи.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
Weakly supervised learning (WSL) is a machine learning approach used when labeled data is scarce or expensive to obtain.In such scenarios, models are trained using weaker supervision sources instead of human-annotated data.However, these sources are often noisy and may introduce unquantified biases during training.This issue is particularly pronounced in automated scoring (AS) of second language (L2) learner output, where high variability and limited generalizability pose significant challenges.In this paper, we investigate the analytical scoring of L2 learner responses under weak and semi-supervised learning conditions, leveraging Prediction-Powered Inference (PPI) to provide statistical guarantees on score validity.We compare two approaches: (1) synthetic scoring using large language models (LLMs), and (2) a semi-supervised setting in which a machine learning model, trained on a small gold-standard set, generates predictions for a larger unlabeled corpus.In both cases, PPI is applied to construct valid confidence intervals for assessing the reliability of the predicted scores.Our analysis, based on a dataset of L2 learner conversations with an AI agent, shows that PPI is highly informative for evaluating the quality of weakly annotated data.Moreover, we demonstrate that PPI can increase the effective sample size by over 150% relative to the original human-scored subset, enabling more robust inference in educational assessment settings where labeled data is scarce.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Забезпечує формальну статистичну структуру (вивід на основі прогнозів) для усунення упереджень у моделях автоматизованого оцінювання під час оцінювання діалогу студентів або тексту в середовищах, що підтримуються ШІ.
- Пропонує емпіричні докази проти розгляду необроблених оцінок LLM як дійсних оцінок через серйозну надмірну впевненість експертів та погане калібрування невизначеності.
- Демонструє, як напівконтрольоване навчання в поєднанні з невеликими анкорними наборами даних, анотованими людиною, може розширити розмір вибірки оцінювання більш ніж на 150% без шкоди для аргументів валідності Мессіка/Кейна.
Методологія та вибірка
Вибірка: 1 721 текстова розмовна сесія, згенерована 121 учнем середнього рівня (CEFR B1-B2) англійської мови, які взаємодіяли з агентом ШІ протягом 3 місяців (у середньому 8,9 ходів за сесію). Золотий стандарт істинності складався з 590 сесій, оцінених людьми (445 для навчання, 145 для оцінювання), спільно анотованих експертами за шкалами діапазону словникового запасу CEFR (1-3) та граматичної точності (1-4). Оцінені моделі: XGBoost і LightGBM, навчені на 9 витягнутих лексичних/синтаксичних ознаках, порівняно з базовими моделями LLM без попереднього навчання (GPT-4o та GPT-4o-mini). Протокол усунення упереджень застосовував вивід на основі прогнозів (PPI) у рамках зі слабким наглядом (WSL) та напівконтрольованих налаштуваннях.
Чому варто прочитати
Ця стаття вирішує фундаментальну проблему валідності в автоматизованому освітньому оцінюванні: як масштабувати оцінювання за допомогою ШІ або машинного навчання без введення незваженого упередження чи знецінення статистичного виводу. Запровадивши вивід на основі прогнозів (PPI) в оцінювання L2, вона демонструє практичну, математично обґрунтовану структуру, яка дозволяє викладачам і дослідникам безпечно доповнювати невеликі набори даних, оцінені експертами, немаркованими або згенерованими ШІ даними, зберігаючи при цьому суворі статистичні гарантії щодо надійності оцінок.
Головні твердження та перевірені цитати
Орієнтовний переклад: “Цей підхід у напівконтрольованих умовах забезпечує відносне збільшення розміру вибірки до 157%, що призводить до зростання точності на 23,2%.”* (машинний переклад) — 10.18653/v1/2025.bea-1.30, с. 2, абз. 10 (exact)
Орієнтовний переклад: “Крім того, наївний підхід безпосереднього використання відповідей LLM як прогнозованих еталонних значень не дає валідних результатів.”* (машинний переклад) — 10.18653/v1/2025.bea-1.30, с. 7, абз. 12 (exact)
Орієнтовний переклад: “У середньому GPT-4o демонструє 80% впевненості в хибних прогнозах щодо діапазону словникового запасу та 75% щодо граматичної точності.”* (машинний переклад) — 10.18653/v1/2025.bea-1.30, с. 7, абз. 11 (exact)
Обмеження та особливості дослідження
- Єдиний детектор: не згадано в тексті
- Немає змагального тестування: не згадано в тексті
- Передбачає, що еталонні дані, оцінені людиною, розподілені незалежно та однаково за нормальним розподілом.
- Оцінено на єдиній малоресурсній когорті з 121 учня середнього рівня англійської мови протягом трьох сесій одного курсу бакалаврату.
- Спирається на інжиніринг ознак синтаксичних/лексичних метрик у вигляді таблиць, а не на глибокі нейронні текстові представлення від початку до кінця.
- підтримує GPT-4 створює цілісні оцінки, які мають високу кореляцію з оцінками людей під час оцінювання есе L2. «In L2 assessment in particular, GPT-4 has shown to produce holistic scores that are highly correlated to human evaluation in written essays and have moderate to high inter-rater reliability (Tate et al., 2024).», с. 2, абз. 2
- підтримує LLM демонструють погане калібрування та надмірну впевненість щодо невизначеності власних виходів. «Nonetheless, LLMs exhibit overconfidence in their incorrect assessments, indicating a poor understanding of uncertainty, a concern also noted in a recent work (Pawitan and Holmes, 2025).», с. 8, абз. 4
- [метод / методологічна пропускна ланка]: Стандартні структури слабкого нагляду в освітньому обробітку природної мови розглядають мітки LLM як проксі-істину, тоді як ця стаття демонструє, що нескориговані мітки LLM порушують гарантії покриття через системну вербалізовану надмірну впевненість.
- [вибірка / обмеження вибірки]: Хоча дослідження з машинного навчання загалом припускають наявність великих еталонних наборів валідаційних даних, контексти освітнього оцінювання зазвичай страждають від екстремального дефіциту людських міток, що робить обмежене напівконтрольоване вибіркове обстеження необхідним.