Persona Matters: Effects of Activation Steering on Short Answer Generation and Scoring
Автори: Yongchao Wu, Aron Henriksson
Видання / Джерело: arXiv (2026)
Внутрішнє керування персонажами знижує якість згенерованих штучним інтелектом відповідей і створює серйозну упередженість в оцінюванні, причому відкриті гуманітарні завдання є найбільш вразливими.
Головне з роботи
- Керування персонажами зазвичай діє як небажана збурювальна дія, погіршуючи якість генерації коротких відповідей як у щільних мовних моделях, так і в моделях суміші експертів.
- Оцінювання відкритих гуманітарних дисциплін та мовних мистецтв є до одинадцяти разів більш вразливим до спричиненої персонажами деградації якості, ніж фактологічні наукові питання.
- Автоматизоване оцінювання есе в умовах керування персонажами демонструє сильну упередженість валентності: суворі персонажі занижують бали, а позитивні — завищують.
- Моделі суміші експертів демонструють у шість разів більші зрушення калібрування оцінювання під час керування персонажами порівняно з щільними архітектурами моделей.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
Activation-based steering enables inference-time personalization of large language models, but its effects in educational applications are not well understood. We study activation-based persona vectors representing seven character traits in short-answer generation and automated scoring on the ASAP-SAS benchmark, across three language models spanning dense and mixture-of-experts architectures. Persona steering lowers answer quality overall, with much larger effects on open-ended English Language Arts (ELA) prompts than on factual science prompts. Interpretive and argumentative tasks are particularly sensitive, showing up to 11$\times$ larger degradation. On the scoring side, we observe predictable valence-aligned calibration shifts: ``evil'' and ``impolite'' scorers grade more harshly, while ``good'' and ``optimistic'' scorers grade more leniently. ELA tasks are 2.5-3$\times$ more susceptible to scorer personalization than science tasks, and the mixture-of-experts model shows roughly 6$\times$ larger calibration shifts than the dense models. To our knowledge, this is the first study to systematically examine the effects of activation-steered persona traits in educational generation and scoring. Our findings highlight the need for task- and architecture-aware calibration when deploying personalized models in educational settings.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Демонструє, як внутрішні втручання в модель змінюють валідність автоматизованого оцінювання та викликають систематичну упередженість оцінювання.
- Надає емпіричні докази диференціальної чутливості завдань (сприйнятливість, подібна до DIF, між відкритими завданнями з мовних мистецтв та фактологічними науковими пунктами) в умовах втручання моделей штучного інтелекту.
- Виділяє структурні вразливості, коли базові моделі з єдиною великою мовною моделлю діють одночасно як освітні репетитори та автоматизовані оцінювачі.
Методологія та вибірка
Дослідження оцінює 3 великі мовні моделі (Qwen3-4B, Qwen3-32B, gpt-oss-20b MoE) за допомогою керування на основі активації (коефіцієнт вектором керування альфа = 2.0, застосований на середніх шарах трансформатора) за 7 рисами персонажів (злий, апатичний, той, що галюцинує, кумедний, нечемний, оптимістичний, підлесливий) як у позитивному, так і в негативному напрямках. Оцінювання проводиться на бенчмарку коротких відповідей ASAP-SAS, що охоплює 10 промптів (наукові та англійська мова і література для 8-10 класів). Вибірка складається з 4500 симульованих відповідей учнів (15 умов персонажів х 10 промптів х 10 зразків на модель), оцінених за допомогою GPT-5.2, та приблизно 202 500 загальних суджень автоматизованого оцінювання за матрицею «екзаменатор-учень» 15х15 для кожної моделі.
Чому варто прочитати
Обов'язкове читання для дослідників і розробників, які розгортають великі мовні моделі як автоматизованих репетиторів або екзаменаторів. Воно демонструє, що внутрішнє керування активацією змінює семантичну коректність та валідність оцінювання, доводячи, що коригування особистості штучного інтелекту ризикує спричинити серйозні зрушення в оцінюванні та деградацію контенту в гуманітарних оцінюваннях.
Головні твердження та перевірені цитати
Орієнтовний переклад: “Керування персоною загалом знижує якість відповідей, причому цей ефект набагато більший для відкритих завдань з англійської мови та мистецтв (ELA), ніж для фактологічних завдань з природничих наук.”* (машинний переклад) — 10.48550/arxiv.2604.07102, с. 1, абз. 5 (exact)
Орієнтовний переклад: “Однак величина зсувів оцінювання залежить від архітектури: gpt-oss-20b демонструє ефекти приблизно у 6 разів більші, ніж щільні моделі Qwen.”* (машинний переклад) — 10.48550/arxiv.2604.07102, с. 9, абз. 3 (exact)
Обмеження та особливості дослідження
- Мала вибірка: немає
- Єдиний детектор: не згадано в тексті
- Немає змагального тестування: не згадано в тексті
- Оцінювання обмежене єдиним англомовним набором даних (ASAP-SAS), що охоплює промпти з короткими відповідями для 8-10 класів.
- Дослідження спирається на зовнішнього суддю на базі великої мовної моделі (GPT-5.2) для оцінки якості відповідей без повної перевірки повторного оцінювання людиною.
- Втручання тестувалися з використанням фіксованого коефіцієнта керування (альфа = 2.0) та фіксованих розташувань гачків у середніх шарах, а не багаторівневого чи динамічного налаштування гіперпараметрів.
- [метрика / методологічна прогалина]: Оцінка якості згенерованих відповідей спирається на суддю на базі великої мовної моделі (GPT-5.2) без прямої перевірки освітніми експертами-людьми, що породжує питання щодо узгодженості упередженості судді.
- [вибірка / популяційна прогалина]: Бенчмарк використовує дані K-12 (відповіді на короткі запитання для 8-10 класів); хоча методологічні наслідки для автоматизованого оцінювання переносяться на вищу освіту, емпірична перевірка на завданнях університетського рівня відсутня.