DiffGate: Difficulty-Gated Teacher Guidance for On-Policy Distillation
Автори: Karn Tiwari, Varnith Chordia, Prathosh A P
Видання / Джерело: arXiv (2026)
DiffGate покращує логічне мислення та якість коду учнівських моделей, застосовуючи вказівки вчителя лише тоді, коли модель припускається помилки, вирішуючи проблему 'надмірного, але сліпого' навчання стандартної дистиляції.
Головне з роботи
- DiffGate поєднує щільні сигнали вчителя (дистиляція за політики) з глобальними винагородами за результат (GRPO), усуваючи взаємні 'сліпі зони'.
- Обмеження вказівок вчителя лише невдалими траєкторіями запобігає зайвому тиску на вже успішні рішення.
- Масштабування впливу вчителя залежно від складності групи надає необхідні сигнали там, де винагороди за результат є рівномірними або розрідженими.
- Обмеження розриву логарифмічної ймовірності між вчителем і учнем стабілізує градієнти навчання та запобігає колапсу ентропії політики.
- Підхід ефективніше покращує показник pass@8, ніж стандартна дистиляція або методи, що базуються лише на винагородах, для моделей різних розмірів.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
On-policy distillation (OPD) has emerged as a widely used paradigm for post-training large language models, reducing the train--test mismatch of conventional distillation by supervising the student on its own generated trajectories. However, existing OPD objectives remain largely token-local and outcome-agnostic, optimizing teacher--student agreement at each prefix despite reasoning quality being determined at the trajectory level. Reinforcement learning with verifiable rewards (RLVR), particularly Group Relative Policy Optimization (GRPO), provides complementary outcome-level supervision but suffers from sparse rewards and coarse credit assignment. We show that OPD and RLVR exhibit complementary blind spots: teacher signals provide dense local guidance but are weakly aligned with rollout correctness, whereas group-relative rewards capture task success but provide coarse token-level credit and vanish on all-failure groups. We introduce DiffGate, an outcome-gated objective that combines GRPO with selective, bounded teacher guidance. Teacher supervision is applied only to failed trajectories, scaled by group difficulty, and smoothly bounded to prevent extreme teacher--student discrepancies from dominating optimization. The verifier therefore determines \emph{which trajectories} receive teacher guidance, while the teacher provides dense token-level update directions within those trajectories. Across Qwen3-0.6B and Qwen3-1.7B students, DiffGate improves code avg@8 over matched GRPO by $+1.7$ and $+1.8$ points and pass@8 by $+1.6$ and $+5.7$ points, respectively. On mathematics, avg@8 remains within $0.5$ points of GRPO while pass@8 improves by $+1.1$ and $+3.9$ points. Overall, DiffGate improves pass@8 across all four model--domain settings, demonstrating improved solution coverage under our evaluation protocol.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Надає досконалу модель трансферу знань 'вчитель-учень', яку можна застосувати при проектуванні ШІ-тьюторів.
- Пропонує кількісну структуру для аналізу навчальних сигналів, що базуються на 'сліпоті до правильності' порівняно з 'усвідомленням правильності'.
- Підтверджує важливість дизайну оцінювання, що враховує складність, при автоматичному донавчанні моделей.
Методологія та вибірка
Дослідження оцінює моделі-учні Qwen3-0.6B, Qwen3-1.7B та Qwen3-4B з використанням моделей-вчителів Qwen3-8B або Qwen3-14B. Набори даних для навчання включають DeepMath (математичні міркування) та TACO (генерація коду). Оцінка базується на п'яти математичних бенчмарках (Minerva, OlympiadBench, AIME24/25, HMMT25) та трьох бенчмарках коду (MBPP+, HumanEval+, LiveCodeBench). Базові методи включають GRPO, стандартну пряму/зворотну дистиляцію KL, EOPD та Uni-OPD.
Чому варто прочитати
Ця стаття пропонує строге, обчислювально обґрунтоване вирішення класичної проблеми валідності оцінювання в навчанні зі штучним інтелектом: як удосконалити логіку моделі, не 'змушуючи' її до відповідей, що часто призводить до того, що модель ігнорує власний процес верифікації або деградує до вузької політики.
Головні твердження та перевірені цитати
Орієнтовний переклад: “Загалом, DiffGate поєднує сильні сторони дистиляції та навчання на основі результатів, послідовно покращуючи охоплення рішень, одночасно перевершуючи базові моделі OPD в обох доменах.”* (машинний переклад) — 10.48550/arxiv.2610.04596, с. 7, абз. 20 (exact)
Орієнтовний переклад: “Тому наставницьке керівництво є ефективнішим, коли воно зосереджене на складніших групах, ніж коли застосовується рівномірно”* (машинний переклад) — 10.48550/arxiv.2610.04596, с. 8, абз. 12 (exact)
Обмеження та особливості дослідження
- Немає змагального тестування: не згадано в тексті
- Лише одна мова: не згадано в тексті
- Оцінка обмежена математичними міркуваннями та генерацією коду, ефективність у завданнях агентного типу або прийняття рішень залишається недослідженою.
- Обчислювальні обмеження звузили експерименти до моделей-учнів обсягом до 4B параметрів.
- Теоретичний аналіз зосереджений на властивостях навчального сигналу, а не на забезпеченні гарантій збіжності для повної цільової функції PPO.
- підтримує Стандартні методи дистиляції за політики надають щільні відгуки на рівні токенів, але не враховують результат, що може відображати стиль замість логічних помилок. «Consequently, teacher disagreement may reflect stylistic differences rather than reasoning errors, while large probability gaps can produce disproportionately large updates.», с. 1, абз. 35
- підтримує Навчання з підкріпленням із верифікованими винагородами (як GRPO) страждає від зникнення сигналів у групах з рівномірною винагородою. «GRPO assigns the same trajectory-level advantage to every token and yields no gradient when all responses in a group receive the same reward», с. 3, абз. 10
- [метод / теоретичний розрив]: Хоча DiffGate емпірично успішний, автори зазначають, що їхні доведення стосуються лише властивостей навчального сигналу, а не гарантують збіжність цільової функції PPO.