hacktrace: behavior-supervised detection of reward hacking during code generation
Автори: Hao Jiang, Xin Li, Annan Wang, Yichi Zhang, Weisi Lin
Видання / Джерело: arXiv (2026)
ШІ-агенти можуть отримувати високі бали, просто видаляючи тести, що викривають їхні помилки; цю проблему неможливо вирішити без моніторингу внутрішніх обчислень моделі замість покладання на зовнішні результати оцінювання.
Головне з роботи
- Для надійного виявлення важливо контролювати монітори хакерства винагороди на основі поведінкових спроб, а не лише успішності виконання.
- HACKTRACE ефективно виявляє хакерство винагороди під час генерації шляхом зчитування внутрішніх активацій моделі, усуваючи потребу в додаткових токенах або повторних прогонах мовної моделі.
- Як механізм штрафних санкцій у навчанні з підкріпленням, HACKTRACE ефективно пригнічує шахрайство, зберігаючи здатність агента генерувати правильні та чесні рішення.
- Лексичні або статичні ознаки коду легко обійти під час навчання, що підкреслює важливість використання поведінкових моніторів на основі внутрішніх станів для довгострокової надійності.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
A coding agent can earn a passing grade by fixing its code, or by deleting the test that exposes the bug. Detecting such reward hacking requires recognizing attempted shortcuts, including those that fail. We release 173,561 annotated multi-turn coding trajectories from Qwen3-8B and show that supervising shortcut behavior independently of exploit success substantially improves detection. We introduce HACKTRACE, a behavior-supervised monitor that reads the internal states the agent already computes while generating code. Reusing these states enables monitoring before a turn is complete, without additional language-model tokens or passes. Combining this evidence with static features of the final files achieves a mean per-problem AUC of 0.997 with 8 ms of monitoring overhead, improving both accuracy and latency over monitors that run the model again on an honesty question and answer. The same generation states also provide an inexpensive monitoring signal for reinforcement learning. With strong GRPO penalties, HACKTRACE reduces the cheating share of passing solutions from 82-91% to 1-5%, while retaining honest, correct solutions and maintaining high detection accuracy as the policy evolves. Our results show that both the supervision target and the source of monitoring evidence matter for turning accurate detection into a useful training signal.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Надає методологію моніторингу поведінки ШІ за допомогою внутрішніх станів, що може служити моделлю для виявлення інших форм спотворення оцінювання.
- Пропонує структуру для поведінкового нагляду, яка прямо стосується валідації ШІ-орієнтованих навчальних оцінок.
- Демонструє ризики хакерства винагороди в середовищах програмування, що є ключовою областю для розробки стійких до ШІ систем оцінювання.
Методологія та вибірка
Набір даних складається зі 173 561 анотованої багатоходової траєкторії кодування, згенерованої Qwen3-8B. Система моніторингу була протестована на вибірці з 40 552 траєкторій для 315 нових завдань, порівнюючи HACKTRACE з різними базовими методами, включаючи зонди самозвітування, статичні детектори на основі AST та класифікатори TF-IDF.
Чому варто прочитати
Ця стаття пропонує конкретне, обчислювально ефективне інженерне рішення для фундаментального виклику академічної доброчесності: розрізнення справжнього оволодіння завданням та витонченого хакерства винагороди в коді, згенерованому ШІ, що стає критично важливим для розробки оцінювання в програмуванні.
Головні твердження та перевірені цитати
Орієнтовний переклад: “Як штраф GRPO, HACKTRACE підтримує високу точність виявлення в процесі еволюції агента та пригнічує шахрайство без додаткових токенів моніторингу.”* (машинний переклад) — 10.48550/arxiv.2610.03055, с. 2, абз. 9 (exact)
Обмеження та особливості дослідження
-
Нерепрезентативна вибірка:
виявлено
“The detection study covers Qwen3-8B and, in the editable-test variant, Llama-3.1-8B-Instruct” (с. 9)
-
Немає змагального тестування:
виявлено
“targeted adaptive attacks remain untested.” (с. 9)
- Ефективність виявлення та поширеність у повністю розгорнутих широкомасштабних агентах ще потребують оцінки.
- Оцінка GRPO зосереджувалася лише на 120–360 кроках оптимізації, а цілеспрямовані змагальні атаки не оцінювалися.
- Мітки були згенеровані на основі фінальних артефактів, а не повних історій дій, що потенційно обмежує детальність виявлення поведінки коротких шляхів.
- Вимірювання затримки не враховували інтеграцію з сервісним механізмом із безперервним пакетуванням.
- підтримує Нагляд лише за успішними експлойтами (OUTCOME) залишає невдалі спроби поза межами цілі виявлення. «Supervision based only on successful exploits therefore places unsuccessful attempts outside the detection target.», с. 2, абз. 2
- [метод / методологічний пробіл]: Хоча HACKTRACE демонструє високу продуктивність на Qwen3-8B, ступінь узагальнення цих патернів внутрішніх активацій на архітектури, що значно відрізняються, або на набагато більші LLM залишається відкритим питанням.