NeutronGym: Physics-Graded Neutron Instrument Design for LLM Agents
Автори: Lijie Ding, Changwoo Do
Видання / Джерело: arXiv (2026)
NeutronGym замінює ненадійних LLM-суддів фізично обґрунтованим середовищем симуляції, змушуючи AI-агентів опановувати справжні принципи інженерного проектування.
Головне з роботи
- Заміна LLM-суддів на винагороди, що базуються на фізичній симуляції, забезпечує надійну та об'єктивну метрику для проектування наукових приладів.
- Ієрархічна система винагород, що надає часткові бали, є критично необхідною для ефективного навчання з підкріпленням у складних інженерних середовищах.
- Середовище включає суворий механізм «впускного шлюзу» (безмодельні тести) для фільтрації завдань, що вирішуються простими правилами чи запам'ятовуванням.
- Імітаційне навчання на успішних епізодах агента призвело до регресії результатів, тоді як навчання з підкріпленням успішно покращило здібності до проектування.
- Навіть після навчання менші моделі на 8 млрд параметрів не змогли усунути розрив у продуктивності порівняно з передовими моделями на тих самих тестових завданнях.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
Designing a scientific instrument tests whether language-model agents can do physics rather than recall it, provided the grading cannot be argued with. We introduce NeutronGym, to our knowledge the first executable environment for neutron instrument design: agents build instruments through validating tools, McStas ray-traces what they build, and a level-resolved ladder grades syntax, runtime, structure and science with no LLM judge. Procedural families supply unlimited instances of a fixed layout whose design parameters the agent must set, with held-out parameter regimes; a curated slice, McStasBench, adds 16 tasks from published instruments behind memorization probes and a sandbox. Seven models reproduce at most 7 of the 16, none retrieves a reference, and none meets an improvement target. The environment also trains. Reinforcement learning on its reward takes Qwen3-8B from 11% to 77% of held-out instances of a family whose targets come from a hidden design (69% at a second seed), past an untrained Qwen3-32B, and the recipe holds, at one seed each, on three further gated families. The analysis says what that gain is. Without the ladder's partial credit it collapses by 60 points. From reward alone the trained model reaches what a classical optimizer reaches, at the agent's simulation budget, only when handed the closed-form physics (77% against 81%, a gap that does not separate at this size), while frontier models still solve 98-99%. Getting a trustworthy result meant failing four task designs that no-model baselines could solve, and we release the probes that found them.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Демонструє використання автоматизованих середовищ для перевірки компетентності, що є релевантним для теми 'стійкого до AI оцінювання'.
- Надає методологію для 'впускних шлюзів', щоб переконатися, що завдання оцінювання не вирішуються за допомогою швидких промпт-підказок.
- Виокремлює ризики валідності LLM при оцінюванні (забруднення даних та відтворення) і пропонує конкретні інженерні контрзаходи.
Методологія та вибірка
Дослідження оцінює сім моделей (Claude Sonnet 5, Claude Haiku 4.5, Gemini 3.6 Flash, Gemini 3.5 Flash-Lite, Llama 4 Maverick, Qwen3-32B, Qwen3-8B) із використанням 16 тестових завдань (McStasBench) та процедурно згенерованих сімейств (n=300 випадків на сімейство для тестування, n=2810 станів для навчання з підкріпленням).
Чому варто прочитати
Ця стаття пропонує суворий підхід до проектування оцінювання, де результати перевіряються законами фізики, а не суддями на базі LLM, що надає модель для оцінювання високого рівня складності, стійкого до маніпуляцій з боку AI, у науково-технічних галузях.
Головні твердження та перевірені цитати
Орієнтовний переклад: “Заміна винагороди, що базується на рівнях, на систему «склав/не склав» при незмінності інших умов призводить до зниження результату до 16,7%.”* (машинний переклад) — 10.48550/arxiv.2610.03631, с. 9, абз. 3 (exact)
Орієнтовний переклад: “Клонування власних успішних ходів навчає кроку, який був правильним у станах, з якими ви вже впоралися, але є пасткою в усіх інших випадках”* (машинний переклад) — 10.48550/arxiv.2610.03631, с. 7, абз. 20 (exact)
Обмеження та особливості дослідження
- Вибірка бенчмарку мала (16 завдань) і бракує валідованих на рівні лабораторій інструментів для відкладених завдань.
- Результати навчання з підкріпленням для багатозадачних сценаріїв виявилися нестабільними при різних випадкових зернах (seeds).
- Процедурні сімейства завдань обмежені налаштуванням параметрів для фіксованої топології приладу, виключаючи вибір самої структури.
- Симуляційне середовище є ідеалізованим (наприклад, без врахування гравітації та фонового шуму).
- [метод / суперечність]: Автори виявили, що імітаційне навчання погіршує продуктивність, що суперечить поширеним припущенням у літературі з освіти та узгодження моделей про те, що успішні результати учня є оптимальними цілями для імітації.