Prompt Sensitivity in LLM-Based Essay Scoring is Model-Specific
Автори: Giulio Corsi, Alexandru Marcoci, Maryam Abo-Tabik, Georgiana Thorpe Apreutesei, Lyba Razzaq, Roni Tibon, Yael Benn, Deborah Talmi
Видання / Джерело: CLOK (University of Central Lancashire) (2026)
Чутливість до промптів під час автоматизованого оцінювання есе залежить від конкретної моделі, а це означає, що універсальних рекомендацій щодо промптів не існує і вони можуть навпаки знижувати продуктивність.
Головне з роботи
- Жоден окремий компонент промпту не забезпечує послідовну оптимізацію автоматизованого оцінювання есе для передових мовних моделей.
- Невдалі конфігурації промптів можуть працювати гірше, ніж прогнозування середнього бала когорти, знищуючи оцінювальний сигнал.
- Оптимальна конфігурація промптів змінюється в різних закладах освіти, відображаючи взаємодію з локальними стандартами оцінювання.
- Інжиніринг промптів для автоматизованого оцінювання слід розглядати як процедуру емпіричного калібрування, а не як дизайн інтуїтивних інструкцій.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
The emergence of Large Language Models (LLMs) has renewed interest in automated essay scoring, yet a barrier to adoption persists: LLM-generated scores are sensitive to prompt formulation, and it is unclear which aspects of a prompt drive this effect or whether findings from one model or institution transfer to another. For educators and institutions considering deployment, this uncertainty is consequential, as without understanding the structure of prompt sensitivity, there is no principled basis for deciding whether to trust an LLM-generated score. This study evaluates three frontier LLMs (GPT-5.4, Claude Opus 4.6, Gemini 3 Flash) across a 3×3×3 factorial design varying criteria specificity, calibration intervention, and scoring strategy on a calibration sample of 153 undergraduate essays from three UK universities with distinct marking conventions. A main-effects ANOVA on the 27 per-model conditions reveals that prompt sensitivity is substantial but strikingly model-specific: criteria specificity accounts for the largest share of condition-level variance for Gemini (57\%, p < .001), scoring strategy for GPT (35\%, p < .01), and scoring strategy and calibration together for Claude (32\% and 24\% respectively), with no single dimension dominating across models. The optimal configuration also differs across institutions, even within the same model. At each institution, the gap between best and worst configurations spans 4–5 RMSE points on the calibration set, with the worst performing worse than a naïve baseline. For the models tested, these findings indicate that no universal prompt recipe exists, and that responsible deployment requires empirical prompt calibration as a prerequisite rather than an optional refinement - a process more similar to hyperparameter tuning than to simple instruction design.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Безпосередньо розкриває аргумент валідності (висновки щодо оцінювання та узагальнення) розгортання LLM як автоматизованих експертів з оцінювання есе у вищій освіті.
- Показує емпіричне дрейфування оцінювача та спотворення вимірювань, внесені виключно структурою промпту в різних середовищах оцінювання.
- Демонструє, що інституційні норми оцінювання взаємодіють із поведінкою LLM під час оцінювання, впливаючи на порівнянність балів.
Методологія та вибірка
Калібрувальна підмножина з N = 153 есе студентів-психологів бакалаврату (з більшого корпусу у 764 есе по 50 модулях) із трьох університетів Великої Британії з використанням стандартних британських шкал оцінювання у відсотках. Було оцінено три передові LLM: GPT-5.4, Claude Opus 4.6 та Gemini 3 Flash. Повністю схрещений факторний дизайн 3 x 3 x 3 перевірив 27 конфігурацій промптів на модель (загалом 81 умова), поєднуючи специфічність критеріїв (відсутня, узагальнена, повна аналітична), втручання для калібрування (відсутнє, дистрибутивне, позбавлене упередженості) та стратегію оцінювання (пряма, аналітично-декомпозована, деліберативна). Продуктивність порівнювалася з наївним базовим рівнем середнього значення когорти за допомогою середньоквадратичної помилки (RMSE) та точності за діапазонами.
Чому варто прочитати
Дослідження пропонує сувору факторну декомпозицію, яка спростовує уявлення про універсальний інжиніринг промптів за принципом «найкращої практики» для автоматизованого оцінювання есе, демонструючи, що оптимізація промптів працює як налаштування гіперпараметрів, прив'язане до конкретних моделей та інституційних критеріїв оцінювання.
Головні твердження та перевірені цитати
Орієнтовний переклад: “Жоден єдиний вимір не є стабільно домінуючим, а виміри, які є значущими для однієї моделі, є незначущими для іншої.”* (машинний переклад) — 10.5281/zenodo.21039771, с. 3, абз. 16 (exact)
Орієнтовний переклад: “Найгірші умови чітко лежать вище нього, що означає, що погано підібраний промпт активно знищує сигнал, який тривіальна евристика зберегла б.”* (машинний переклад) — 10.5281/zenodo.21039771, с. 3, абз. 9 (exact)
Орієнтовний переклад: “Оптимальна конфігурація також відрізняється залежно від закладів, навіть у межах однієї моделі.”* (машинний переклад) — 10.5281/zenodo.21039771, с. 1, абз. 14 (exact)
Обмеження та особливості дослідження
- Немає змагального тестування: не згадано в тексті
-
Лише одна мова:
виявлено
“The data is drawn from a corpus of 764 long-form undergraduate psychology essays from three UK universities, spanning 50 modules.” (с. 2)
- Оцінювання є суворо вибірковим у межах калібрувального набору (N = 153), що означає: зафіксовані розриви між найкращими та найгіршими результатами відображають оптимістичну верхню межу.
- Калібрувальна вибірка містить приблизно 50 есе на університет, що дає широкі бутстреп-інтервали довіри для компонентів дисперсії.
- Аналіз обмежений есе з психології бакалаврату, оціненими за стандартами британських університетів, і трьома конкретними версіями моделей у конкретний момент часу.
- підтримує Оцінки есе, згенеровані LLM, чутливі до формулювання промпту, причому незначні варіації суттєво змінюють результати. «LLM-generated scores are sensitive to prompt formulation, with minor variations in rubric framing or role instructions capable of shifting outputs by a full grade band», с. 1, абз. 18
- підтримує LLM виявляють схильність стискати призначені оцінки до середини шкали оцінювання. «addresses the well-documented tendency of LLMs to compress scores towards the centre of the scale [2], which can in principle be mitigated by providing distributional anchoring.», с. 2, абз. 20
- [метод / методологічний]: Послідовне додавання промптів у попередніх дослідженнях змішує архітектуру моделі та взаємодію вимірів промптів, чого цей факторний дизайн дозволяє уникнути.
- [вибірка / емпіричний]: Міжінституційну переношуваність раніше вважали само собою зрозумілою, проте особливості шкали оцінювання у закладах створюють специфічні взаємодії з промптами.