psychometric_modeling

Inside the Scorer: Mechanistic Evidence on Rubric Control in LLM-Based Automated Essay Scoring from 25 Base Models

Автори: Chungche Huang, Po-Ya Angela Wang, Shu-Kai Hsieh
Видання / Джерело: arXiv (2026)

Оцінювання критеріїв есе за допомогою мовних моделей спирається на єдиний спільний важіль замість окремих внутрішніх елементів керування.

Головне з роботи

Загальні бали есе надійно декодуються з активацій залишкового потоку в довших есе, але здатність до декодування різко згасає в останніх шарах.
Внутрішні представлення аналітичних критеріїв розділяються геометрично в довших есе, але повністю руйнуються в завданнях з короткими відповідями.
Причинно-наслідкове керування внутрішніми активаціями показує, що моделі коригують оцінки за допомогою єдиного важеля загальної якості, а не контролерів, специфічних для конкретних рис.
Висока кореляція балів між людиною та машиною не доводить, що автоматичний оцінювач насправді вимірює або контролює окремі аналітичні критерії.
Сквозне автоматичне оцінювання ризикує відтворити ефект ореолу людських оцінювачів без забезпечення справжньої перевірюваності субконструктів.

Суть дослідження (TL;DR)

Простими словами Словами дослідження

Інструменти автоматичного оцінювання есе часто виставляють окремі оцінки за граматику, словниковий запас та організацію тексту. Це дослідження вивчило внутрішню роботу 25 мовних моделей, щоб перевірити, чи дійсно вони оцінюють ці риси незалежно. Хоча моделі розпізнають загальну якість есе, коригування їхніх внутрішніх сигналів для однієї риси змінює всі інші оцінки рис однаково, що свідчить про те, що вони виставляють оцінки на основі єдиного загального враження, а не чітких критеріїв.

Системи автоматичного оцінювання есе на основі великих мовних моделей часто заявляють про здатність оцінювати багатоаспектні аналітичні критерії, проте залишається незрозумілим, чи моделі внутрішньо представляють і незалежно контролюють ці виміри оцінювання. На основі 25 мовних моделей з відкритими вагами, протестованих на студентських письмових роботах, загальні бали експертів-людей піддаються декодуванню з внутрішніх активацій, а критерії демонструють частково відокремлені геометричні напрямки у довших завданнях. Проте причинно-наслідкове керування активацією демонструє, що цільові втручання в критерії забезпечують лише незначну перевагу в 1,74% порівняно з невідповідними критеріями, що вказує на те, що базові мовні моделі функціонують через єдиний спільний важель оцінювання, а не через незалежні контролери критеріїв.

Анотація авторів (оригінал)

Automated essay scoring (AES) using large language models (LLMs) offers promising use cases for language assessment, yet high-stakes testing requires scores that are both controllable and verifiable, which current LLM-based scorers lack. Given that, we investigate whether LLM-based scorers form distinct internal representations for individual scoring rubrics and whether these representations can be independently controlled. Probing and steering 25 open-weight base LLMs (0.13B-10.31B parameters; 14 families) on human-scored BESTEP English writing tasks, we find that holistic scores are decodable from model activations for the longer tasks (Parts 2 and 3) and only weakly for the shortest (Part 1). Furthermore, scoring rubrics have partly separable directions in representation space for the longer tasks, though not for short responses (Part 1). However, causal steering reveals a critical limitation: applying a matching intervention (e.g., steering "grammar" on a grammar-degraded response) yields only a negligible advantage (about 2% of the effect) over a mismatched intervention (e.g., steering "vocabulary"), and none that is detectable in any of the 10 testable comparisons across reliably measured rubrics. Rather than controlling distinct evaluative dimensions, the rubric directions share a dominant lever whose rubric-specific parts are not selective, which may mirror the halo structure of human ratings. Our contributions are two-fold. First, we show that analytic scoring rubrics designed for human raters do not behave as independent controls in base LLMs, even among the seven models whose scores agree best with human raters ($r \geq 0.6$). Second, we establish a methodology that shows that score agreement and decodability do not imply rubric-level control in LLM-based assessment.

Переклад анотації не надається.

Оцінка за критеріями якості та релевантності

Новизна

8.0/10

Методологічна строгість

8.5/10

Інженерні контрзаходи

5.0/10

Виклик консенсусу

8.0/10

Тематична відповідність

8.5/10

Тематична релевантність для освітян

Ключові докази для аргументів валідності (Кейн і Мессік) щодо представлення конструкту та дисперсії, не пов'язаної з конструктом, в оцінювачах на базі штучного інтелекту.
Демонструє психометричне дрейфування оцінювача та феномени ореолу, які проявляються у прихованих шарах трансформера.
Інформує архітектуру оцінювання, стійку до штучного інтелекту, демонструючи, чому декомпозовані модульні конвеєри є суворо необхідними порівняно зі сквозним оцінюванням за допомогою мовних моделей.

Методологія та вибірка

75 human-rated student writing responses from the official BESTEP English examination (undergraduate academic proficiency test in Taiwan) across two test forms and three task types (short answer N=21, opinion email N=24, integrated essay N=30), plus 104 verified rubric-degraded essay variants generated by Llama 3.3 (70B) from 26 high-band gold essays. Evaluated on 25 open-weight base LLMs (0.13B to 10.31B parameters, 16 to 42 layers) across 14 model families using layer-wise Ridge regression probing with leave-one-out cross-validation and 1,000 score permutations, disattenuated cosine direction similarities, and 74,304 paired causal activation steering interventions.

Чому варто прочитати

Це дослідження забезпечує перший механістичний інтерпретований аудит контролю критеріїв в автоматизованому оцінюванні есе, доводячи, що висока узгодженість оцінок між людиною та машиною може маскувати повну відсутність незалежного оцінювання рис.

Головні твердження та перевірені цитати

Аналітичні критерії оцінювання, розроблені для людських експертів, не діють як незалежно керовані важелі всередині базових мовних моделей.

Оригінал: “steering one rubric’s direction moves the score about as much as steering a different one, even among the models whose scores agree best with human raters.”
Орієнтовний переклад: “зміна напряму однієї критеріальної шкали (rubric) змінює бал приблизно такою ж мірою, як і зміна іншої, навіть серед моделей, чиї оцінки найкраще узгоджуються з оцінювачами-людьми.”^{* (машинний переклад)} — 10.48550/arxiv.2610.25724, с. 2, абз. 2 (exact)

Висока кореляція з оцінками людських експертів не означає, що оцінювач на базі мовної моделі підтримує чіткі репрезентації критеріїв.

Оригінал: “High agreement with human raters, or the mere decodability of rubrics, is therefore not evidence that a model uses those rubrics as separately controllable levers.”
Орієнтовний переклад: “Висока узгодженість з оцінювачами-людьми або сама лише дешифрованість критеріальних шкал (rubrics) тому не є доказом того, що модель використовує ці шкали як окремо контрольовані важелі.”^{* (машинний переклад)} — 10.48550/arxiv.2610.25724, с. 9, абз. 7 (exact)

Внутрішні репрезентації критеріїв відображають єдиний домінуючий вимір якості, а не окремі елементи керування рисами.

Оригінал: “Rather than controlling distinct evaluative dimensions, the rubric directions share a dominant lever whose rubric-specific parts are not selective, which may mirror the halo structure of human ratings.”
Орієнтовний переклад: “Замість контролю окремих вимірів оцінювання напрями критеріальних шкал (rubrics) спільно використовують домінантний важіль, специфічні для кожної шкали частини якого не є вибірковими, що може відображати структуру гало-ефекту в оцінюванні людьми.”^{* (машинний переклад)} — 10.48550/arxiv.2610.25724, с. 1, абз. 11 (exact)

Обмеження та особливості дослідження

Немає змагального тестування: не згадано в тексті

Оцінювання обмежене базовими мовними моделями; доопрацьовані, налаштовані за інструкціями та розгорнуті пропрієтарні комерційні моделі оцінювання не тестувалися.
Первинний набір даних обмежений 75 есе з одного стандартизованого академічного іспиту з англійської мови (BESTEP).
Цільові погіршення есе були згенеровані однією мовною моделлю, що може залишати корельовані слідові артефакти в сусідніх лінгвістичних вимірах.
У золотому наборі для оцінювання бракувало аналітичних балів людських критеріїв, що унеможливило емпіричне розмежування між колапсом моделі та помилкою ефекту ореолу в оцінках людини.
Масштаб параметрів був обмежений 10,31 мільярда параметрів через локальні обмеження розгортання, що виключає моделі передового масштабу.

З тексту статті (цитата перевірена)

підтримує Здатність декодувати певну властивість із внутрішніх активацій не доводить, що модель причинно використовує її під час обчислень. «First, Elazar et al. (2021) demonstrate that a property’s being decodable from a representation does not mean the model actually uses it.», с. 3, абз. 3
підтримує Продуктивність зонда потребує валідації на основі базових ліній селективності для забезпечення справжнього контролю ознак. «Second, Hewitt and Liang (2019) show that probe accuracy is uninterpretable without a selectivity check against a memorization-based control task.», с. 3, абз. 3

Висновок моделі (прогалини та суперечності)

[метод / методологічна прогалина]: Дослідження, які валідують автоматичні оцінювачі есе на основі мовних моделей виключно через кореляцію або метрики надійності за теорією Раша/G-теорії, не помічають внутрішню механіку оцінювача та багатовимірну валідність.
[визначення / неперевірене припущення]: Спонукання мовних моделей виводити підсумкові бали за аналітичними критеріями передбачає розділення внутрішніх рис, що це дослідження емпірично спростовує в базових моделях.

#Автоматизоване оцінювання есе #Механістична інтерпретованість #Валідність конструкту #Контроль критеріїв #Причинно-наслідкове керування #Ефект ореолу #Мовне тестування