One Percent of the Bank: Adaptive Item Selection Reads Targeted Contamination Up While the Whole Bank Barely Moves
Автори: Guan-Yuan Chen, Ya-Fen Yeh
Видання / Джерело: Zenodo (CERN European Organization for Nuclear Research) (2026)
Той факт, що адаптивні тести рідко показують окремі завдання, не захищає від атаки, оскільки алгоритм вибору стає передбачуваним для зловмисника.
Головне з роботи
- Протоколи адаптивного тестування створюють передбачувані патерни вибору завдань, що робить оцінювання вразливим до цілеспрямованого завищення результатів.
- Вплив на мінімальну частку банку питань може суттєво завищити бали адаптивного тесту, тоді як загальні показники успішності залишаються стабільними.
- Дослідження використовує контрольоване моделювання на основі теорії відповіді на питання (IRT) для виокремлення впливу правил вибору завдань на оцінки моделей.
- Використання методів оцінювання без вибіркового зміщення, таких як рівномірний випадковий відбір, може бути запобіжником проти вразливостей детермінованого адаптивного тестування.
- Результати обмежені використанням однієї моделі певного розміру та специфічними параметрами симуляції, що вимагає обережності при екстраполяції висновків на реальні умови.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
Adaptive testing is entering language-model evaluation as an efficiency device, and its low item exposure is offered as incidental contamination protection (Li et al., 2026b). That argument assumes untargeted leakage, yet a maximum-information test asks predictable items that anyone observing administrations can learn. Here we fine-tune a 1.5B-parameter model on 1% of a self-calibrated MMLU bank, chosen by exposure in a clean adaptive run, and score adaptive, random and whole-bank protocols on the same response vectors. A 41-item adaptive test then rises by 1.47 to 1.59 logits over its own clean reading (1.63 to 1.75 above the clean whole-bank reading) while the whole bank reads slightly lower. Because this concentrated test also moves under untargeted fine-tuning drift, we compare it with a random-item set trained to approximately the same loss of clean-item accuracy: on this model the adaptive reading exceeds that control's by +1.40 logits (95% CI +1.10 to +1.69), positive in all ten seed pairs. Every item of the clean test lies inside the contaminated set, and an exposure set rebuilt only from simulated administrations reproduces the shift. Two further models show the same sign pattern; none of the selection-side defences tested in simulation meets a joint target for bias and clean RMSE. In the released logs of two adaptive LLM evaluators, the most-administered 1% of each instrument's largest bank takes 30–40% (ATLAS, HellaSwag) and 60% (Fluid, MMLU, 100-item tests) of all administrations; across all their benchmarks (Fluid at 100 items) the most-administered 1% takes 5–60%. No change confined to a targeted set can move the expected reading of a reader that is design-unbiased for bank accuracy by more than the set's share of the bank: that expectation changes by exactly the change in bank accuracy. Adaptive-test logs therefore need a threat model for their observers, and adaptive scores a whole-bank reading beside them.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Забезпечує методологію для аудиту валідності інструментів оцінювання на базі ШІ.
- Поєднує зсув параметрів завдань IRT із змагальним донавчанням.
- Пропонує теоретичну базу для створення 'неупереджених' адаптивних оцінювачів.
Методологія та вибірка
Набір даних: база MMLU з 14 042 завдань (самокаліброваних через 2PL IRT). N: 28 варіантів Qwen2.5-1.5B-Instruct (донавчених через LoRA). Контрольні групи: випадкові набори завдань, підібрані для контролю колатерального зсуву, та читання всієї бази. Основна довжина тесту: 41 питання.
Чому варто прочитати
Ця стаття забезпечує суворий психометричний фундамент для розуміння того, чому адаптивні ШІ-бенчмарки вразливі до цілеспрямованої контамінації. Вона висвітлює критичний інсайт про те, що правила адаптивного вибору створюють передбачувані 'шляхи', які можна експлуатувати, та надає формальне доведення необхідності неупереджених оцінювачів для запобігання штучному завищенню балів в епоху ШІ.
Головні твердження та перевірені цитати
Орієнтовний переклад: “Адаптивний тест із 41 завдання потім зростає з 1,47 до 1,59 логіта порівняно з його власним чітким значенням”* (машинний переклад) — 10.5281/zenodo.23156543, с. 1, абз. 11 (exact)
Обмеження та особливості дослідження
- Результати базуються на донавчених варіантах однієї моделі обсягом 1,5 млрд параметрів.
- Цільові набори завдань та схеми вибору дуже залежать від початкового калібрування за IRT.
- Результати щодо захисних механізмів були валідовані на модельованих базах, а не на реальних системах.
- Порівняння з 'контролем колатерального зсуву' чутливе до варіативності початкових значень при прояві зсуву донавчання по всій базі.
- суперечить Стаття спростовує твердження, що низька частота використання завдань гарантує захист від контамінації. «This paper extends the threat model to deliberate targeting, under which the low-exposure corollary does not hold for the canonical instrument.», с. 4, абз. 33
- [метод / несумісність метрик]: Автори стверджують, що стандартні 'коефіцієнти підсилення', які використовувалися в попередній літературі, є некоректними, замінюючи їх заходами різниці логітів.