Proxy Confidence: Auditing Black-Box LLM Agents with a Surrogate's Log-Probabilities
Автори: Yikai Zhao, Saurabh Pandey, Pradeep Kumar Misra
Видання / Джерело: arXiv (2026)
Маленька відкрита допоміжна модель може перевіряти виклики інструментів та генерацію коду агентом LLM надійніше, ніж це робить сам агент, спираючись на власну впевненість.
Головне з роботи
- Мала модель з відкритими вагами, що працює паралельно, може успішно перевіряти надійність викликів інструментів агентів рівня frontier.
- Метод використовує генеративні оцінки для перевірки точності значень аргументів та дискримінативні висновки для цілісної коректності, формуючи стійку систему безпеки.
- Проксі-впевненість значно перевершує впевненість самого агента, особливо в режимах, де агент виявляє надмірну самовпевненість.
- Стратегія sidecar є обчислювально ефективною, спирається на один прохід над існуючою дією і не потребує донавчання або доступу до внутрішніх параметрів агента.
- Ефективність зворотного зв'язку залежить від того, чи надає середовище достатньо діагностичної інформації про помилки, що підкреслює необхідність суворих контрольних базових ліній.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
A deployed LLM agent emits tool calls, queries, and code that can be silently wrong -- by the time the error surfaces, the action has run. Frontier chat APIs hide the model's token probabilities; the agent's stated confidence barely beats chance on the mistakes that matter; and resampling does not help, since frontier models are highly repetitive, reproducing the same call across samples. We recover the missing signal from a low-cost open-weight surrogate run in parallel. It reads the same context, schema, and proposed action as the agent, then scores the call from its own log-probabilities through a family of complementary readouts: teacher forcing and request-PMI weigh the likelihood of each argument value, a discriminative verdict judges the call as a whole, and tool-choice competition tests the function against its siblings. One principle says which to trust: a generative likelihood localizes wrong argument values, while the verdict catches holistically wrong calls. When the error type is unknown, an ensemble is the low-regret default. The readout is training-free, needs no access to the agent's internals, and costs one prefill pass alongside the tool call. On difficult coding tasks it reaches AUROC 0.825 where the actor's stated confidence is near chance (0.598), and the generative readouts beat it by +0.07 to +0.28 across three further actors. Against self-consistency it gains +0.14 to +0.19 on near-deterministic actors, at 1/K the cost. The signal drives two deployment modes: a real-time gate escalating the least-trustworthy calls for review (+0.05 to +0.30 accepted-action accuracy at 50% coverage), and confidence feedback, returning the tool result with the score so the agent adapts its next step -- lifting task success on live-execution benchmarks (+0.119 and +0.137, p <= 1e-4) and beating a random-value control where step errors are silent (+0.078, p = 0.003).
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Надає кількісний метод аудиту продуктивності агентів у критично важливих середовищах.
- Пропонує структуру для розробки стійких до AI оцінок шляхом регулювання використання інструментів для забезпечення точності.
- Демонструє, як обробляти дрейф параметрів елементів та надійність моделі в сценаріях «чорної скриньки».
Методологія та вибірка
Дослідження оцінює проксі-впевненість sidecar-моделі на п'яти сімействах акторів (включаючи закриті та відкриті моделі) з використанням набору бенчмарків для виклику інструментів та генерації коду (наприклад, AppWorld, BFCL, LiveCodeBench, BIRD). Аудиторами виступають Qwen3-32B, Qwen3-14B та Gemma-3-27B. Оцінювані датасети містять тисячі викликів із мітками, отриманими шляхом об'єктивної перевірки виконання/AST/відповідності еталону, а не на основі суджень LLM.
Чому варто прочитати
Ця стаття пропонує масштабоване, інженерно-орієнтоване рішення проблеми «мовчазної відмови» (silent failure) при використанні AI-агентами інструментів, замінюючи ненадійну самооцінку на верифіковану проксі-впевненість. Вона надає практичну структуру для оцінки цілісності AI-агентів у комп'ютерних системах за рахунок виявлення та блокування некоректних виходів.
Головні твердження та перевірені цитати
Орієнтовний переклад: “Цей проксі ранжує правильні виклики вище за неправильні надійніше, ніж будь-який сигнал, який сьогодні має оператор «чорної скриньки».”* (машинний переклад) — 10.48550/arxiv.2610.03894, с. 1, абз. 12 (exact)
Обмеження та особливості дослідження
- Метод вимагає дій, які можна вирішити шляхом їх «читання»; він не вирішує помилки, пов'язані з відсутністю зовнішніх фактів.
- Орієнтаційний знак (кореляція між сигналом та правильністю) має підбиратися на відкладених мітках для кожного режиму.
- Перевага «краще ніж сам агент» залежить від режиму, а не є універсальною; на деяких бенчмарках сигнал проксі лише зрівнюється з самооцінкою агента.
- Мультиорендне обслуговування та розміри оцінювачів, що перевищують протестоване співвідношення 2x, не профілювалися.
- підтримує Метод самоузгодженості (семплювання) стає неефективним для майже детермінованих агентів. «The actor re-emits the identical call on the overwhelming majority of inputs, leaving almost no sample variance to read», с. 2, абз. 1
- [Method / Залежність від даних]: Хоча проксі-метод покращує точність, він все одно покладається на «золоту» перевірку або середовище виконання для валідації успіху, що може бути недоступним у студентських застосунках генеративного AI.