Machine--human agreement in marking undergraduate assignments is specific to model, prompt and institution
Автори: Giulio Corsi, Maryam Abo-Tabik, Yael Benn, Georgiana Thorpe Apreutesei, Roni Tibon, Alexandru Marcoci, Deborah Talmi
Видання / Джерело: arXiv (2026)
Провідні ШІ-оцінювачі есе допускають системні помилки: вони звужують розподіл оцінок і винагороджують складність речень, яку університетські викладачі повністю ігнорують.
Головне з роботи
- Угода щодо оцінювання за допомогою ШІ не переноситься на інші заклади: квадратичний зважений каппа падає з 0.616 в Кембриджі до 0.345 в Манчестерському мітропольному університеті.
- Усі протестовані моделі систематично стискають оцінки до центрального атрактора, переоцінюючи незадовільні роботи та недооцінюючи роботи вищого рівня більш ніж на 11 балів.
- Провідні моделі від різних розробників мають корелюючі помилки, через що мультимодельні панелі та ансамблі не усувають похибку оцінювання.
- Оцінки машини приблизно втричі сильніше залежать від поверхневих лінгвістичних характеристик, ніж оцінки людини, зокрема винагороджуючи складність речень, яку екзаменатори ігнорують.
- Інституційна валідація автоматизованого оцінювання не може бути запозичена з інших університетів і має відновлюватися на локальному рівні щоразу при оновленні базових моделей.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
Large language models (LLMs) promise to automate one of higher education's most resource-intensive activities: assessing student writing. Existing evaluations are typically limited to a single model, a single prompt and a single institution. Using 761 undergraduate psychology assignments from three UK universities, we evaluated three frontier LLMs, individually and in ensemble, on accuracy, prompt sensitivity, error independence, generalisability and evidential basis. Agreement between human and machine marks varied widely, with no model or prompt optimal across institutions. All models compressed marks towards a common central tendency, overvaluing the weakest assignments and undervaluing the strongest. Because this error was shared, ensembling failed to remove it. Machine marks also rewarded linguistic features more strongly than human marks. Since human-machine agreement was a joint product of model, prompt and institution, we conclude that current LLMs lack evaluative capacity transferable across contexts, and that single-context validation overstates readiness for deployment.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Демонструє серйозні загрози аргументу валідності Кейна при використанні LLM як оцінювачів, зокрема щодо висновків про оцінювання та генералізацію.
- Надає кількісний шаблон (декомпозиція Китагави, часткова кореляція помилок, PCA регресія ознак) для перевірки дрейфу оцінювача та дисперсії, що не стосується конструкту, в оцінюванні за допомогою ШІ.
- Показує, що інструменти ШІ винагороджують поверхневі лінгвістичні маркери, спонукаючи студентів, які використовують генеративний ШІ, створювати надмірно складний, стилізований текст для обману автоматизованого оцінювання.
Методологія та вибірка
Корпус із 761 підсумкової студентської роботи з психології (Кембридж n=133, Манчестерський мітропольний університет n=456, Ноттінгем n=172) у межах 50 модулів та 87 різних промптів, оцінених за британською 0-100 відсотковою шкалою. Оцінювалися моделі GPT-5.4, Claude Opus 4.6 та Gemini 3 Flash у режимі zero-shot за 3x3x3 факторним дизайном промптів (специфіка критеріїв, базові показники калібрування, стратегія оцінювання), розділеними на 20% калібрувальний набір (n=153) та 80% тестовий набір (n=608). Базові лінії включали чотири стратегії агрегації ансамблів, лінійне/афінне калібрування та задокументовані бенчмарки надійності оцінювання між людьми (r = 0.47 до 0.93).
Чому варто прочитати
Ця стаття є одним із найбільш методологічно суворих застережень проти некритичного впровадження великих мовних моделей як оцінювачів у вищій освіті. Поєднуючи автентичні дані з кількох сайтів, експерименти з факторними промптами, аналіз кореляції помилок та лінгвістичну PCA-декомпозицію, автори викривають фундаментальні загрози валідності конструкту: алгоритмічну монокультуру, стиснення оцінок та вразливість до стилістичних особливостей.
Головні твердження та перевірені цитати
Орієнтовний переклад: “Оскільки згоду між людиною та машиною було сформовано спільно моделлю, промптом та закладом освіти, ми робимо висновок, що сучасні LLM не мають оцінювальної здатності, здатної переноситися між різними контекстами, а валідація в одному контексті перебільшує готовність до впровадження.”* (машинний переклад) — 10.48550/arxiv.2610.18019, с. 1, абз. 9 (exact)
Обмеження та особливості дослідження
- Єдиний детектор: немає
- Корпус обмежений студентськими роботами з психології в трьох британських закладах, що може не поширюватися на STEM, гуманітарні науки або шкали оцінювання за межами Великої Британії.
- Роботи мають єдині узгоджені інституційні оцінки замість незалежних подвійних оцінок, що унеможливлює вимірювання надійності оцінювання між людьми всередині корпусу.
- Оцінювання обмежувалося промптингом без попередніх прикладів (zero-shot); калібрування за кількома прикладами (few-shot) або доменне донавчання не оцінювалися.
- Аналізи відображають знімки провідних закритих моделей станом на березень 2026 року, які можуть підлягати негласним оновленням від постачальників.
- підтримує Машинні оцінки скупчуються ближче до середини шкали та нерівномірно ставляться до крайніх значень. «machine marks have clustered towards the middle of the scale (Lundgren, 2024) and, on undergraduate psychology essays, were more lenient than instructors' for weaker work and harsher for stronger work (Wetzler et al., 2025).», с. 2, абз. 5
- підтримує Системи автоматизованого оцінювання винагороджують поверхневі лінгвістичні та лексичні особливості, а не ключові оцінювані конструкти. «The evidential basis of machine marks has likewise received little direct attention, despite a construct-validity literature predating LLMs, which established that automated systems could match human marks while rewarding essay length and lexical sophistication», с. 3, абз. 3
- [метод / суперечність]: Стандартна література про LLM як суддів припускає, що ансамблювання незалежних LLM нівелює ідіосинкратичну дисперсію, проте емпірична часткова кореляція помилок r = 0.74-0.78 спростовує це припущення про незалежність для оцінювання справжніх студентських есе.
- [визначення / методологічна пробіл]: Попередні валідації автоматизованого оцінювання есе, що спиралися на бенчмарки одного навчального закладу, змішували розподіли оцінок когорти з точністю оцінювача, маскуючи серйозне погіршення точності всередині діапазону в різних контекстах.