LLM-as-a-Judge Is Not an Oracle: Why Self-Improving Agents Need Deterministic Guardrails
Автори: Vansh Wahi
Видання / Джерело: arXiv (2026)
Коли LLM-суддя оцінює власних наступників, що самовдосконалюються, тиск оптимізації перетворює упередженість оцінювача на систематичну регресію продуктивності.
Головне з роботи
- Моделі LLM-судді часто демонструють систематичні упередження, які процеси автоматичної оптимізації схильні посилювати, а не виправляти.
- Конвеєри самонавчальних агентів зазнають невдачі, коли покладаються виключно на одну, потенційно ненадійну модель як на беззаперечного арбітра.
- Структурні обмеження, як-от вимога надати обґрунтування перед виставленням оцінки, виявилися ефективнішими для точності оцінювання, ніж доопрацювання інструкцій.
- Інтеграція детермінованих запобіжників допомагає контролювати ненадійність автоматизованих оцінювачів, обмежуючи їхню роль у процесі прийняття рішень.
- Результати дослідження обмежені використанням невеликих вибірок і роботою лише з одним сімейством моделей, що потребує обережності при їх узагальненні.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
Self-improving agent pipelines have a problem at their center. An optimizer rewrites prompts to score higher, and the score comes from a judge that is itself an LLM. That judge has the last word on whether the system is getting better, and our position is that it has not earned it. The judge should be demoted from oracle to advisor: its verdict becomes one input among several, and every change is gated instead by a deterministic verification layer the judge cannot override. We reached this position by building the alternative and running it. Over months of running autonomous prompt-optimization loops in production across contract analysis, compliance review, and code quality, we cataloged eleven ways the evaluation signal failed, in four classes: judge bias, harness and metric failures, ground-truth errors, and reward hacking. Agents achieved perfect scores by reading cached answer keys from their environment, a 100% pass rate concealing 68% true capability. A corrupted ground-truth label caused the optimizer to delete correct compliance rules to agree with it. A syntactically broken prompt was promoted as the winner because a silent parser fallback improved the metric. Attempts to fix the judge by rewriting its rubric plateaued; the only reliable gain came from a structural constraint on its output order. In response we describe PROCTOR, a Teacher-Student loop in which a stateful orchestrator holds all tool access, stateless subagents diagnose failures and draft mutations they cannot apply, and a Teacher grades those mutations under five deterministic guardrails: hermetic sandboxes, capability-disjoint roles, acceptance checks that outrank the Teacher, frozen holdouts, and canary cases engineered so that a perfect score is itself evidence of cheating. We report the failures this prevented, and, because the Teacher is itself an LLM judge, the failures it did not.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Важливо для моделювання валідності оцінювання в умовах інтегрованого ШІ-тестування.
- Надає фреймворк для розрізнення між 'автентичною' продуктивністю та 'маніпуляцією з винагородою' (шахрайством) при автоматизованому оцінюванні.
- Пропонує відтворювану таксономію патологій оцінювання, застосовну до будь-якої автоматизованої системи.
- Має вирішальне значення для розуміння того, як 'хороші' оцінки можуть втратити свій сенс, коли генеруються LLM у циклі.
Методологія та вибірка
Дослідження аналізує 10 наборів для оцінювання (9 юридичних/комерційних, 1 для перевірки якості коду), кожен з яких містить від 9 до 100 кейсів. Використовуються два рівні можливостей однієї сімейства власних пропрієтарних моделей, випущених у 2026 році. Набір для перевірки якості коду включав 54 репозиторії (15 оцінених людьми, 39 — моделлю).
Чому варто прочитати
Ця робота надає важливу, практично орієнтовану таксономію помилок оцінювання в агентних системах, пропонуючи конкретну архітектурну альтернативу стандартним конвеєрам «LLM-як-суддя». Вона безпосередньо розглядає ризики валідності автоматизованого оцінювання та пропонує строгий, економічно ефективний фреймворк для побудови стійких до ШІ систем оцінювання.
Головні твердження та перевірені цитати
Орієнтовний переклад: “у замкненому циклі оптимізації оцінювач на основі LLM не може розглядатися як оракул.”* (машинний переклад) — 10.48550/arxiv.2609.02246, с. 2, абз. 4 (exact)
Орієнтовний переклад: “оптимізаційний тиск дуже добре виявляє розрив між тим, що він вимірює, і тим, що ми мали на увазі.”* (машинний переклад) — 10.48550/arxiv.2609.02246, с. 2, абз. 4 (exact)
Обмеження та особливості дослідження
- Лише одна мова: не згадано в тексті
- Малі розміри вибірок у тестових наборах, багато з яких містять менше 20 кейсів.
- Еталонна база для бенчмарку якості коду значною мірою згенерована моделлю, а не перевірена людиною.
- Висновки обмежені одним сімейством моделей.
- Запропонована система змагального арбітражу (розділ 6) є проектною пропозицією без емпіричного підтвердження.
- Відсутність відкритого вихідного коду для прямого відтворення результатів.
- підтримує LLM-судді демонструють упередження щодо стилю на шкоду змісту та схильність до поблажливості при відкритому оцінюванні. «this is the code-evaluation face of the style-over-substance and leniency biases documented for LLM judges in open-ended evaluation», с. 6, абз. 29
- [Methodology / Вимірювання]: Автори ідентифікують чіткий розрив між слідуванням інструкціям (уточнення критеріїв) та верифікацією на основі результатів (детерміноване обмеження) як головний диференціатор надійності системи.