Pattern Recognition or Medical Knowledge? The Problem with Multiple-Choice Questions in Medicine
Автори: Maxime Griot, Jean M. Vanderdonckt, Demet Yüksel, Coralie Hemptinne
Видання / Джерело: Proceedings of the conference - Association for Computational Linguistics. Meeting (2025)
Тести з множинним вибором зазвичай використовуються, щоб показати, що моделі штучного інтелекту володіють медичними знаннями.
Головне з роботи
- Мовні моделі правильно відповідають на запитання з множинним вибором про вигадану медичну біологію, покладаючись на поверхневі лінгвістичні патерни та евристику складання тестів.
- Лікарі набирають бали на рівні випадкового вгадування, зіштовхуючись із незнайомим вигаданим медичним контентом, тоді як мовні моделі суттєво перевершують результати випадкового вгадування.
- Надання моделям лише варіантів множинного вибору без умов запитань усе одно дає точність, значно вищу за випадкове вгадування.
- Оцінювачі не можуть покладатися на стандартні формати множинного вибору як на дійсний доказ клінічного розуміння чи професійної компетентності.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
Large Language Models (LLMs) such as Chat-GPT demonstrate significant potential in the medical domain and are often evaluated using multiple-choice questions (MCQs) modeled on exams like the USMLE.However, such benchmarks may overestimate true clinical understanding by rewarding pattern recognition and test-taking heuristics.To investigate this, we created a fictional medical benchmark centered on an imaginary organ, the Glianorex, allowing us to separate memorized knowledge from reasoning ability.We generated textbooks and MCQs in English and French using leading LLMs, then evaluated proprietary, open-source, and domain-specific models in a zero-shot setting.Despite the fictional content, models achieved an average score of 64%, while physicians scored only 27%.Fine-tuned medical models outperformed base models in English but not in French.Ablation and interpretability analyses revealed that models frequently relied on shallow cues, test-taking strategies, and hallucinated reasoning to identify the correct choice.These results suggest that standard MCQ-based evaluations may not effectively measure clinical reasoning and highlight the need for more robust, clinically meaningful assessment methods for LLMs.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Безпосередньо стосується валідності конструкту та значення балів (фреймворки Кейна та Мессіка), коли автоматизовані системи складають стандартизовані освітні тести.
- Ілюструє механізми диференційного функціонування завдань, де мовні моделі використовують лексичну евристику, яку кандидати-люди не можуть застосувати.
- Демонструє, як синтетичні та змагальні бенчмарки можуть відокремити справжні міркування від банальної статистичної асоціації в освітніх оцінюваннях.
Методологія та вибірка
Конвеєр генерації синтетичних бенчмарків, що створює вигадані підручники (приблизно по 35 000 слів кожен) і 488 запитань із множинним вибором (264 через GPT-4 Turbo, 224 через Claude 3.5 Sonnet), перекладених англійською та французькою мовами. Протестовані моделі: GPT-3.5 Turbo, GPT-4 Turbo, GPT-4o, Yi-1.5 (9B, 34B), Mistral-7B-v0.1, Mixtral-8x7B-v0.1, LLaMA-3 (8B, 70B), Qwen1.5 (7B, 32B, 110B), DeepSeek-V3-0324, а також доопрацьовані (fine-tuned) моделі InternistAI-7B і Meerkat-7B. Людський базовий рівень складався з 2 ліцензованих лікарів, які виконали 100 англомовних пунктів.
Чому варто прочитати
Стаття містить емпіричну демонстрацію недійсності конструкту тестів із множинним вибором при їх застосуванні до великих мовних моделей, показуючи, що високих результатів можна досягти виключно завдяки експлуатації статистичних артефактів без розуміння предметної області.
Головні твердження та перевірені цитати
Орієнтовний переклад: “Коли моделі давали підказку виключно варіантами відповідей (режим «тільки відповіді»), вона досягла середньої точності 46,5%.”* (машинний переклад) — 10.18653/v1/2025.acl-long.266, с. 7, абз. 21 (exact)
Орієнтовний переклад: “Ці результати припускають, що стандартні оцінювання на основі множинного вибору можуть неефективно вимірювати клінічне міркування, та підкреслюють потребу в більш надійних, клінічно змістовних методах оцінювання для великих мовних моделей (LLM).”* (машинний переклад) — 10.18653/v1/2025.acl-long.266, с. 1, абз. 6 (exact)
Обмеження та особливості дослідження
- Єдиний детектор: не згадано в тексті
- Лише одна мова: немає
- Розділи підручників генерувалися незалежно, створюючи тонкі внутрішні суперечності та пропуски в розділах.
- Початкові базові дані для заземлення були створені єдиним лікарем, що потенційно могло призвести до індивідуальних стилістичних упереджень.
- Базовий рівень порівняння з людьми обмежений двома лікарями, які оцінювали підмножину зі 100 запитань.
- підтримує Великі мовні моделі можуть відповідати на запитання з множинним вибором без умови запитання, експлуатуючи поверхневі підказки у варіантах відповідей. «This intermediate accuracy level supports the hypothesis proposed by Balepur et al. (2024), suggesting that large language models employ meta-strategies such as question inference and surface-level shortcuts.», с. 7, абз. 8
- [визначення / недостатнє представлення конструкту]: Стандартні оцінювання з множинним вибором визначають медичне міркування через точність вибору елементів, але на продуктивність сильно впливають специфічні для формату поверхневі артефакти.
- [метод / методологічний пробіл]: Оцінка моделей ШІ за допомогою іспитів для ліцензування людей не враховує попередньо заучуваний текст та стилістичну евристику, вбудовану у формати множинного вибору.