The Impact of LLM Self-Consistency and Reasoning Effort on Automated Scoring Accuracy and Cost
Автори: Scott Frohn
Видання / Джерело: arXiv (2026)
Багаторазове опитування однієї і тієї ж моделі не підвищує точність автоматизованого оцінювання, проте вибір недорогих моделей без міркувань різко знижує витрати.
Головне з роботи
- Внутрішньомодельне голосування більшістю серед кількох запусків не покращує точність оцінювання, оскільки помилки виникають через систематичне хибне тлумачення критеріїв, а не через випадковий шум у виводі.
- Вищі зусилля на міркування дещо підвищують точність оцінювання в середньому, але ця перевага є незгомогенною для різних сімейств моделей і швидко виходить на плато.
- Вибірка за температури 1 перевершує детерміноване жадібне декодування за температури 0 для менших моделей без необхідності використання ансамблів.
- Недорогі компактні моделі, що працюють без міркувань за ланцюжком думок, пропонують оптимальну межу співвідношення вартості та точності для великомасштабних розгортань автоматизованого оцінювання.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
Strategic model selection and reasoning settings are more effective than ensembling for optimizing automated scoring with large language models (LLMs). We examined self-consistency (intra-model majority voting) and reasoning effort for scoring conversation-based assessment items in high school mathematics, evaluating 900 student conversations against human-scored ground truths using frontier and low-cost models from OpenAI and Google. Temperature sampling significantly improved accuracy over deterministic calls, but increasing ensemble size (j = 1 to 7) produced no significant gains. Higher reasoning effort showed a significant positive linear trend with scoring accuracy, though the benefit varied by model family. An efficiency frontier analysis identified Gemini 3.1 Pro Preview at low reasoning as the most accurate but costly configuration; GPT-5.4 Nano and Mini with no reasoning offered the best cost-performance balance.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Оцінює LLM як експертів у діалогових оцінюваннях математичних розгорнутих відповідей.
- Кількісно оцінює психометричну стабільність та дрейф/упередження експертів у системах автоматизованого оцінювання за параметрами температури та міркувань.
- Безпосередньо інформує про компроміси інженерії операційного оцінювання між валідністю експерта, затримкою оцінювання та грошовими витратами.
Методологія та вибірка
Оцінено 900 студентських діалогів із трьох завдань з математики для старшої школи за методом Поясни своє мислення (600 Алгебра I, 300 Геометрія), оцінених за чек-листами рубрик із 2–3 дихотомічними критеріями (2 100 еталонних оцінок, встановлених більшістю голосів трьох навчених людей-експертів). Оцінені моделі включали OpenAI GPT-5.4, GPT-5.4-Mini, GPT-5.4-Nano, а також Google Gemini 3.1 Pro Preview і Gemini 3 Flash Preview. Експериментальні умови маніпулювали температурою (0 проти 1), розміром ансамблю (j = 1, 3, 5, 7) та рівнем міркувань (відсутній/мінімальний, низький, середній, високий), проаналізовані за допомогою узагальнених лінійних змішаних моделей (GLMM) та межі ефективності Парето.
Чому варто прочитати
Дослідження надає суворі емпіричні докази, що спростовують припущення про користь голосування більшістю на основі самоузгодженості для автоматизованого оцінювання, водночас пропонуючи дієвий аналіз Парето витрат і продуктивності для систем операційного оцінювання.
Головні твердження та перевірені цитати
Орієнтовний переклад: “Вищі зусилля міркування значно покращили точність оцінювання (лінійний контраст: b = 0,145, z = 4,06, p < 0,001).”* (машинний переклад) — 10.48550/arxiv.2604.26954, с. 7, абз. 2 (exact)
Обмеження та особливості дослідження
- Мала вибірка: немає
- Обмежено виключно дихотомічно оцінюваними чек-листами рубрик у математиці для старшої школи, що обмежує узагальнення на політомічні есе або не STEM-домени.
- Оцінено лише внутрішньомодельну самоузгодженість, залишивши поза увагою багатомодельні гетерогенні ансамблі.
- Оцінки вартості базуються на прейскурантних цінах комерційного API станом на березень 2026 року без урахування знижок на пакетні API або кешування промптів.
- [метод / розбіжність]: Бенчмарки із загального обробки природної мови показують підвищення точності завдяки самоузгодженості на 4–18%, але завдання оцінювання на основі рубрик не отримують переваг, оскільки LLM демонструють систематичне упередження щодо рубрик, а не стохастичний дрейф.
- [метрика / концептуальна]: Спостерігалася висока внутрішньомодельна надійність (каппа Фляйса > 0.88), проте згода між людиною та моделлю залишалася обмеженою на рівні каппа Коена ≈ 0.79, що вказує на надійну помилкову класифікацію.