Judged in Company: In-Context Batching Makes LLM Verdicts Depend on Other Items
Peng Xie, Amr Alanwar · arXiv (2026) · doi:10.48550/arxiv.2610.40241 · gemini-3.8-flash
Суть роботи
Оцінювання кількох студентських відповідей разом в одному промпті задля економії коштів призводить до того, що оцінка ШІ починає сильно залежати від того, які інші відповіді включені та в якому порядку вони йдуть. Стандартна загальна точність тесту приховує цю проблему, оскільки помилки нівелюють одна одну в сукупності. Навіть використання мажоритарного голосування по кількох перетасованих пакетах не усуває ці довільні зрушення оцінок.
Метод і вибірка: Об'єм вибірки N = 2000 елементів на завдання для трьох завдань: оцінювання коротких відповідей (корпус SciEntsBank, студентські відповіді оцінювалися за еталонними відповідями), виявлення мови ворожнечі в соцмережах (Measuring Hate Speech) та оцінки відгуків Yelp. Основні оцінювання використовували п'ять моделей з відкритими вагами: Qwen3-4B-Instruct-2507, Qwen3-8B (мислення вимкнено), Gemma-4-E4B-it, Granite-3.3-8B-Instruct та GLM-4-9B-0414. Розширені оцінювання випробовували чотири більші моделі (Qwen3-14B, Qwen3-32B, Gemma-4-31B-it, GLM-4-32B-0414). Базові лінії включали оцінювання одного елемента, перейменовані ключі, перефразовані інструкції та генерацію промптів для одного елемента.
#LLM як експерти#автоматизоване оцінювання#дисперсія не за конструктом#пакетний промптинг#валіндність вимірювання#дрейф експертів#оцінювання коротких відповідей