One Percent of the Bank: Adaptive Item Selection Reads Targeted Contamination Up While the Whole Bank Barely Moves
Guan-Yuan Chen, Ya-Fen Yeh · Zenodo (CERN European Organization for Nuclear Research) (2026) · doi:10.5281/zenodo.23156543 · gemini-3.1-flash-lite
Суть роботи
Хоча комп'ютерні адаптивні тести ефективні, вони обирають передбачувані питання, які легше скомпрометувати через цілеспрямоване донавчання. Дослідження показує, що навіть при компрометації лише 1% запитань бал може значно зрости, попри стабільну успішність учня за всією базою. Тому освітянам варто спиратися на загальні результати по всій базі, а не лише на дані адаптивних сесій, для забезпечення валідності оцінювання.
Метод і вибірка: Набір даних: база MMLU з 14 042 завдань (самокаліброваних через 2PL IRT). N: 28 варіантів Qwen2.5-1.5B-Instruct (донавчених через LoRA). Контрольні групи: випадкові набори завдань, підібрані для контролю колатерального зсуву, та читання всієї бази. Основна довжина тесту: 41 питання.
#адаптивне_тестування#теорія_відповіді_на_завдання#контамінація_бенчмарків#змагальна_стійкість#психометрія