Pattern Recognition or Medical Knowledge? The Problem with Multiple-Choice Questions in Medicine
Maxime Griot, Jean M. Vanderdonckt, Demet Yüksel, Coralie Hemptinne · Proceedings of the conference - Association for Computational Linguistics. Meeting (2025) · doi:10.18653/v1/2025.acl-long.266 · gemini-3.7-flash
Суть роботи
Тести з множинним вибором зазвичай використовуються, щоб показати, що моделі штучного інтелекту володіють медичними знаннями. Щоби перевірити, чи моделі справді розуміють медицину, чи просто експлуатують ярлики тестів, дослідники протестували їх на іспитах про вигаданий орган, якого не існує. У той час як лікарі-люди набрали бали на рівні випадкового вгадування, моделі ШІ легко склали тест, довівши, що стандартні питання з множинним вибором винагороджують патерни складання тестів, а не справжні знання.
Метод і вибірка: Конвеєр генерації синтетичних бенчмарків, що створює вигадані підручники (приблизно по 35 000 слів кожен) і 488 запитань із множинним вибором (264 через GPT-4 Turbo, 224 через Claude 3.5 Sonnet), перекладених англійською та французькою мовами. Протестовані моделі: GPT-3.5 Turbo, GPT-4 Turbo, GPT-4o, Yi-1.5 (9B, 34B), Mistral-7B-v0.1, Mixtral-8x7B-v0.1, LLaMA-3 (8B, 70B), Qwen1.5 (7B, 32B, 110B), DeepSeek-V3-0324, а також доопрацьовані (fine-tuned) моделі InternistAI-7B і Meerkat-7B. Людський базовий рівень складався з 2 ліцензованих лікарів, які виконали 100 англомовних пунктів.
#Валідність конструкту#Питання з множинним вибором#Великі мовні моделі#Медична освіта#Евристика складання тестів#Змагальне оцінювання