Judged in Company: In-Context Batching Makes LLM Verdicts Depend on Other Items
Автори: Peng Xie, Amr Alanwar
Видання / Джерело: arXiv (2026)
Об'єднання студентських відповідей в один промпт для економії коштів змушує моделі змінювати оцінки залежно виключно від сусідніх робіт.
Головне з роботи
- Оцінювання коротких відповідей студентів пакетами по 25 штук змінює від 11% до 22% індивідуальних вердиктів порівняно з їхнім оцінюванням поодинці.
- Сукупні метрики точності на кшталт AUROC повністю маскують нестабільність оцінок, спричинену пакетами, оскільки індивідуальні зсуви оцінок взаємно компенсуються.
- Послідовність елементів, призначені позиції в промпті та спільна приналежність до пакету зумовлюють нестабільність оцінок через канали як тексту, так і згенерованих вердиктів.
- Голосування за перестановками пакету не вирішує проблему, оскільки ефекти спільної приналежності стійко зберігаються попри мажоритарне голосування.
- Освітянам слід забезпечити ізольоване оцінювання по одному елементу за допомогою інфраструктури кешування промптів, щоб запобігти довічним перешкодам між елементами без завищення витрат на інференс.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
To save cost, practitioners often ask a language model to grade many independent items in one prompt. This assumes that verdicts are separable: that the verdict on an item does not depend on the other items in the prompt or on its position among them. Across three judgement tasks (harm in social-media comments, short-answer grading and review star ratings) and five open-weight models with 4-9B parameters, assigning the same 2,000 items to different random batches of 25 changes 11-22% of decisions on harm and grading, 6.5-13.3 points more than renaming the item keys or rewording the instruction, while AUROC against human labels differs from single-item grading only by -0.033 to +0.010; for four models with 14-32B parameters, 6-15% of decisions change, 4.2-9.1 points more. We show that flip rates decompose exactly into components of order, slot and membership, and that under a threshold model they grow with the square root of the variance that the context contributes, so that effects that are small for scores are large for decisions. Most of the latent dissimilarity between partitions comes from the order of the neighbours and the slot. The main effect of which items share the prompt, the part that voting over permutations of a batch cannot remove, accounts for 0.11-0.22 of it, and majority votes over nine permutations still leave 52-60% of the flips. Batched verdicts also differ systematically from single-item verdicts: even the majority of fifteen random batches disagrees with them on 8.4-17.8% of decisions. Editing a single generation shows that both the model's own earlier verdicts and the neighbours' texts carry the effect. On the easy task, star ratings, only 2.9-3.9% of decisions change. We recommend grading ambiguous items one per prompt, recovering most of the cost with a cached prefix, and reporting agreement with single-item grading whenever items are batched.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Безпосередньо стосується валідності автоматизованого оцінювання в межах аргументаційного підходу Кейна: дисперсія, не пов'язана з конструктом, вноситься контекстом однолітків у промпті.
- Надає формальний математичний фреймворк (розклад дисперсії) для моделювання дрейфу експертів та несепарабельності у налаштуваннях LLM-як-експерта.
- Демонструє інженерні контрзаходи (маски блочної уваги, кешування префіксів промптів) для досягнення валідного автоматизованого оцінювання без збільшення витрат.
Методологія та вибірка
Об'єм вибірки N = 2000 елементів на завдання для трьох завдань: оцінювання коротких відповідей (корпус SciEntsBank, студентські відповіді оцінювалися за еталонними відповідями), виявлення мови ворожнечі в соцмережах (Measuring Hate Speech) та оцінки відгуків Yelp. Основні оцінювання використовували п'ять моделей з відкритими вагами: Qwen3-4B-Instruct-2507, Qwen3-8B (мислення вимкнено), Gemma-4-E4B-it, Granite-3.3-8B-Instruct та GLM-4-9B-0414. Розширені оцінювання випробовували чотири більші моделі (Qwen3-14B, Qwen3-32B, Gemma-4-31B-it, GLM-4-32B-0414). Базові лінії включали оцінювання одного елемента, перейменовані ключі, перефразовані інструкції та генерацію промптів для одного елемента.
Чому варто прочитати
Ця праця ґрунтовно руйнує поширену в індустрії та психометриці практиці пакетування в контексті для автоматизованого оцінювання есе/коротких відповідей. Вона надає формальний розклад дисперсії, що демонструє погіршення валідності за Кейном: оцінка окремого студента стає функцією подачі робіт однолітків, а не лише компетентності у конструкті.
Головні твердження та перевірені цитати
Орієнтовний переклад: “голосування більшістю на основі п'яти та дев'яти перестановок залишають 60–69% і 52–60% змін рішення, а порогова модель, підігнана під ці прогони, прогнозує частоту змін у межах одного пункту”* (машинний переклад) — 10.48550/arxiv.2610.40241, с. 2, абз. 9 (exact)
Орієнтовний переклад: “Заміна лише попередніх вердиктів змінює 7–23% цільових рішень, заміна лише текстів сусідів — 9–26%; обидва канали діють із подібною силою, значно перевищуючи 3%, які вимагає G3.”* (машинний переклад) — 10.48550/arxiv.2610.40241, с. 11, абз. 5 (exact)
Обмеження та особливості дослідження
- Мала вибірка: немає
- Єдиний детектор: не згадано в тексті
- Немає змагального тестування: не згадано в тексті
- Основні оцінювання проводилися виключно на моделях з відкритими вагами об'ємом від 4B до 32B параметрів, а не на пропрієтарних флагманських моделях.
- Оцінювання обмежувалися англомовними корпусами зі структурованими форматами промптів у форматі JSON та жадібним декодуванням.
- Модель гаусового порогу припускала однорідну дисперсію контексту для всіх елементів, трохи недооцінюючи зміни для великої кількості пакетів.
- підтримує Промптинг пакетами заощаджує суттєві витрати на токени з мінімальною втратою сукупної точності в анотуванні соціальних наук. «they save more than 80% of token costs and lose less than 2 points of accuracy», с. 1, абз. 8
- підтримує Рішення щодо пакетного скринінгу суттєво зміщуються між обробкою окремих елементів та пакетуванням без змін сукупних метрик. «Hida et al. (2026) report that 1–27% of screening decisions change between single-item processing and batches of 20, and that aggregate metrics do not always reflect these changes.», с. 2, абз. 15
- [метрика / концептуальний]: Стандартні психометричні бенчмарки та бенчмарки NLP спираються на сукупні ROC/точність, повністю приховуючи похибку вимірювання на індивідуальному рівні, спричинену спільними появами елементів у промптах.
- [метод / емпіричний]: Схеми голосування за перестановками (такі як BatchPrompt) припускають, що незалежності від позиції можна досягти шляхом переупорядкування, ігноруючи незвідну латентну дисперсію приналежності.