Representational Control over Self-Report & Behavior Coherence in LLM Risk-Taking
Автори: Rafal Kocielnik, Peiyang Song, Pengrui Han, Myrl G. Marmarelis, Ramit Debnath, Dean Mobbs, R. Michael Alvarez
Видання / Джерело: arXiv (2026)
Внутрішнє керування активаціями виявляє, що схильність LLM до ризику, про яку вона заявляє, фундаментально відокремлена від її реальної поведінки, що робить самозвіт ненадійним та вразливим до маніпуляцій показником.
Головне з роботи
- Внутрішні вектори керування показують, що самозвіти моделей та їхні фактичні дії ґрунтуються на геометрично відокремлених нейронних механізмах.
- Виявлений розрив між задекларованими намірами та поведінкою свідчить про те, що традиційні опитування ШІ є ненадійними індикаторами його майбутніх рішень.
- Навмисне поєднання векторів керування може призвести до створення моделей з оманливою поведінкою, де декларовані риси суперечать фактичним діям.
- Методологічні обмеження щодо узагальнення на інші сфери та використання лише відкритих моделей вказують на те, що результати можуть не повністю відображати складні агентні системи.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
Self-report is an appealing low-cost probe of an LLM's dispositions, but recent work finds only selective agreement between what models report and how they behave. Prior accounts establish these patterns by prompting black-box LLMs, leaving open whether the gap is a prompting artefact or a fact about how the underlying constructs are represented internally. We investigate risk-taking, a consequential dimension of agentic decision-making, using activation steering to measure self-report and behavior under the same internal intervention. We survey nine steering-vector extraction methods spanning task-specific directives, the model's own task behavior, and dispositional descriptions at two granularities, evaluated on two behavioral tasks and two psychometric instruments across four open-weight LLMs. We find that (1) a shared internal intervention does not ensure shared responsiveness: directions built from trait descriptions move self-report but leave behavior at chance, directions built from the model's own task choices do the reverse, and only task-specific directives reach both, weakly. (2) Diagnosis dissolves that exception: removing surface confounders leaves the directives only 32% of their behavioral effect. The two channels are otherwise steered by near-orthogonal directions, each channel reachable by several independent constructions. (3) An intervention composing one behavior-moving and one self-report-moving direction moves both together; flipping one sign sets them in opposition, with reported and enacted risk pointing in opposite directions on 69-89% of flipped compositions in all models. These findings move the self-report-behavior relationship from a black-box observation to a representational one that can be inspected and controlled, motivating representational checks alongside behavioral evaluation.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Надає методологію для перевірки оцінювальних систем на стійкість до маніпуляцій моделі.
- Сприяє теорії стійкого до ШІ оцінювання, демонструючи можливість роз'єднання самозвітів та фактичної продуктивності.
- Пропонує кількісну основу для аналізу компрометації завдань та дрейфу концептів у відповідях, згенерованих ШІ.
Методологія та вибірка
У дослідженні протестовано чотири LLM з відкритою архітектурою (Qwen2.5-7B, Llama3.1-8B, OLMo-3-7B та Ministral-3-8B). Схильність до ризику вимірювалася за допомогою завдань Columbia Card Task (CCT) та Balloon Analogue Risk Task (BART), тоді як самозвіти оцінювалися через BFI-44 та DOSPERT. Проаналізовано дев'ять методів вилучення векторів керування, що охоплюють директиви завдань, вибір моделі та описи особистості.
Чому варто прочитати
Ця праця пропонує рідкісний, суворий механістичний аналіз розриву «цінність-дія» (value-action gap) у LLM. Використовуючи керування активаціями для перевірки внутрішніх репрезентацій, дослідження виходить за рамки поверхневих спостережень через підказки та пропонує основу для «механістично обґрунтованого поведінкового аудиту», що важливо для освітян, які працюють із стійкістю оцінювання до впливу ШІ.
Головні твердження та перевірені цитати
Орієнтовний переклад: “інструкції, побудовані на основі описів рис, впливають на самозвіти, але залишають поведінку на рівні випадковості”* (машинний переклад) — 10.48550/arxiv.2610.04125, с. 1, абз. 7 (exact)
Орієнтовний переклад: “Зміна того, що каже керована модель про своє схиляння до ризику, не є надійним показником зміни того, що вона робить.”* (машинний переклад) — 10.48550/arxiv.2610.04125, с. 5, абз. 9 (exact)
Обмеження та особливості дослідження
- Дослідження фокусується на одному конструкту (схильність до ризику), який, попри важливість для прийняття рішень, може не поширюватися на всі когнітивні домени.
- Контроль за поверхневими підказками є неминуче неповним, тому виявлена розбіжність може бути навіть більшою.
- Використані лише моделі з відкритими вагами; механізми керування у закритих моделях неможливо оцінити поточними методами доступу до активацій.
- Поведінкова оцінка базується на одиничних рішеннях, а не на складних багатоетапних агентних траєкторіях.
- [Method / методологічний розрив]: Дослідження протиставляє свій метод внутрішнього керування попереднім підходам, що базувалися лише на підказках, стверджуючи, що підказки не можуть розрізнити репрезентативні розриви та конфлікти виклику (elicitation confounds).