Leveraging Computerized Adaptive Testing for Cost-effective Evaluation of Large Language Models in Medical Benchmarking
Автори: Tianpeng Zheng, Zhehan Jiang, Jiayi Liu, Shicong Feng
Видання / Джерело: arXiv (2026)
Комп’ютеризоване адаптивне тестування оцінює медичні моделі за допомогою на 98% меншої кількості запитань, ідеально зберігаючи рейтинги моделей повного бенчмарку.
Головне з роботи
- Адаптивний відбір пунктів на основі інформації Фішера відтворює рейтинги моделей повного бенчмарку, використовуючи в середньому лише 37 пунктів на модель.
- Неадаптивне випадкове скорочення пунктів призводить до систематичного упередження та серйозної регресії до середнього для моделей з найвищою продуктивністю.
- Калібрування параметрів пунктів на людях-респондентах забезпечує стабільну психометричну шкалу для відстеження дрейфу кваліфікації мовної моделі.
- Множинна адаптивна кваліфікація тісно корелює з результатами виконання завдань із відповідями на відкриті клінічні запитання.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
The rapid proliferation of large language models (LLMs) in healthcare creates an urgent need for scalable and psychometrically sound evaluation methods. Conventional static benchmarks are costly to administer repeatedly, vulnerable to data contamination, and lack calibrated measurement properties for fine-grained performance tracking. We propose and validate a computerized adaptive testing (CAT) framework grounded in item response theory (IRT) for efficient assessment of standardized medical knowledge in LLMs. The study comprises a two-phase design: a Monte Carlo simulation to identify optimal CAT configurations and an empirical evaluation of 38 LLMs using a human-calibrated medical item bank. Each model completed both the full item bank and an adaptive test that dynamically selected items based on real-time ability estimates and terminated upon reaching a predefined reliability threshold (standard error <= 0.3). Results show that CAT-derived proficiency estimates achieved a near-perfect correlation with full-bank estimates (r = 0.988) while using only 1.3 percent of the items. Evaluation time was reduced from several hours to minutes per model, with substantial reductions in token usage and computational cost, while preserving inter-model performance rankings. This work establishes a psychometric framework for rapid, low-cost benchmarking of foundational medical knowledge in LLMs. The proposed adaptive methodology is intended as a standardized pre-screening and continuous monitoring tool and is not a substitute for real-world clinical validation or safety-oriented prospective studies.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Методологія та вибірка
Двофазний дизайн, що поєднує моделювання Монте-Карло (3 600 симульованих респондентів на 36 рівнях здібностей від -3,5 до +3,5) та емпіричне тестування 38 пропрієтарних та відкритих LLM (від 0,5B до 120B+ параметрів; наприклад, GPT-4, o1, Gemini-2.5-Pro, Claude-4-Sonnet, серія Qwen). Банк питань містить 2 815 запитань з множинним вибором з Національного тесту компетентності для студентів-медиків молодших курсів Китаю (CTCMU), відкаліброваних на понад 40 000 студентів-медиків четвертого та п'ятого курсів за допомогою двопараметричної логістичної моделі IRT. Базові лінії включають повне тестування (2 815 питань) та підтести з випадковим відбором, узгоджені за довжиною.
Чому варто прочитати
Це забезпечує сувору демонстрацію того, як сучасна психометрія (зокрема IRT та CAT) вирішує обчислювальний вузький місць та ризики забруднення тестування LLM. Для дослідників освітніх вимірювань це операціоналізує LLM як респондентів на каліброваних на людях шкалах, ілюструючи, як адаптивні алгоритми підтримують точність ранжування за екстремального скорочення тестів.
Головні твердження та перевірені цитати
Орієнтовний переклад: “Результати показують, що отримані за допомогою CAT оцінки рівня підготовки досягли майже ідеальної кореляції з оцінками за повним банком (r = 0,988), використовуючи лише 1,3 відсотка завдань.”* (машинний переклад) — 10.48550/arxiv.2603.23506, с. 2, абз. 15 (exact)
Орієнтовний переклад: “Крім того, попри перевагу усереднення 100 запусків, базовий метод RS усе одно давав вище значення RMSE (0,174) порівняно з одноразовим CAT (RMSE = 0,150).”* (машинний переклад) — 10.48550/arxiv.2603.23506, с. 27, абз. 12 (exact)
Орієнтовний переклад: “Як показано на додатковому рисунку E1, ми спостерігали стійкий лінійний зв'язок між адаптивною підготовкою за завданнями з множинним вибором і генеративною продуктивністю.”* (машинний переклад) — 10.48550/arxiv.2603.23506, с. 24, абз. 6 (exact)
Обмеження та особливості дослідження
- Мала вибірка: немає
- Єдиний детектор: не згадано в тексті
- Банк питань спирається виключно на єдиний національний навчальний план з підготовки бакалаврів медицини, який може не переноситися безпосередньо на інші навчальні плани, такі як USMLE, без формального психометричного зрівнювання.
- Стандартизовані питання з множинним вибором оцінюють фундаментальні медичні знання, а не складні клінічні міркування, навички біля ліжка хворих або комунікацію з пацієнтами.
- Ця система не гарантує допуску з безпеки проти небезпечних немонотонних помилок, коли модель пропускає базові критично важливі для безпеки знання попри високий загальний тета-показник.
- [визначення / концептуальна розбіжність]: Автори визначають тета суворо як операційний індекс кваліфікації на фіксованому відкаліброваному банку, а не як латентну когнітивну конструкцію, що розходиться з традиційними людськими психометричними інтерпретаціями.
- [метод / похибка вимірювання]: IRT передбачає монотонні функції відгуку, але генеративні моделі часто демонструють крихкі, немонотонні збої на елементарних питаннях безпеки, попри правильну відповідь на складні питання.