MedQA-CS: Objective Structured Clinical Examination (OSCE)-Style Benchmark for Evaluating LLM Clinical Skills
Автори: Zonghai Yao, Zihao Zhang, Chaolong Tang, Xingyu Bian, Youxia Zhao, Zhichao Yang, Junda Wang, Huixue Zhou, Won Seok Jang, Feiyun Ouyang, Hong Yu
Видання / Джерело: Conference of the European Chapter of the Association for Computational Linguistics (2026)
Високі бали на медичних іспитах із множинним вибором не гарантують практичних клінічних навичок: провідні мовні моделі набирають у середньому менш ніж шістдесят три відсотки в бенчмарках клінічних зіткнень.
Головне з роботи
- Результати тестів із множинним вибором переоцінюють практичні можливості мовних моделей в оцінюванні інтерактивних та структурованих навичок.
- GPT-4 ефективно функціонує як автоматизований екзаменатор для структурованих клінічних завдань, демонструючи сильну кореляцію з оцінками експертів-людей.
- Доменно-специфічне донавчання може спричинити катастрофічне забуття здібностей загального слідування інструкціям у складних критеріях оцінювання.
- Техніки оптимізації за вподобаннями людини покращують здатність відкритої моделі слідувати складним критеріям оцінювання без потреби в донавчанні під конкретну донменну область.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
Artificial intelligence (AI) and large language models (LLMs) in healthcare require advanced clinical skills (CS), yet current benchmarks fail to evaluate these comprehensively. We introduce MedQA-CS, an AI-SCE framework inspired by medical education's Objective Structured Clinical Examinations (OSCEs), to address this gap. MedQA-CS evaluates LLMs through two instruction-following tasks-LLM-as-medical-student and LLM-as-CS-examiner-designed to reflect real clinical scenarios. Our contributions include developing MedQA-CS, a comprehensive evaluation framework with publicly available data and expert annotations, and providing the quantitative and qualitative assessment of LLMs as reliable judges in CS evaluation. Our experiments show that MedQA-CS is a more challenging benchmark for evaluating clinical skills than traditional multiple-choice QA benchmarks (e.g., MedQA). Combined with existing benchmarks, MedQA-CS enables a more comprehensive evaluation of LLMs' clinical capabilities for both open- and closed-source LLMs .
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Демонструє, як операціоналізувати піраміду компетентностей Міллера в структуровані бенчмарки оцінювання за допомогою ШІ.
- Надає докази статистичної валідності ( Pearson r, Kendall tau/W) використання підходу LLM-як-суддя для оцінювання результативності в експертній доменній галузі.
- Ілюструє дрейф параметрів елементів/критеріїв, де бали за заснованими на знаннях бенчмарках не прогнозують можливості слідування відкритим інструкціям.
Методологія та вибірка
Набір даних містить 1667 точок даних для слідування інструкціям, отриманих із 44 випадків USMLE Step 2 Clinical Skills, трансформованих за допомогою автоматизованого перефразування та перевірених ліцензованими медичними експертами. Оцінювані моделі включають учасників тестування MedStuLLM (GPT-4, GPT-4o, GPT-3.5-turbo, серія Claude-3, серія Qwen2, GLM4-9b, варіанти LLaMA2/3, варіанти Mistral/Mixtral) та моделі суддів MedExamLLM (GPT-4, GPT-4o, серія Claude-3 та дистильована модель судді LLaMA-3.1-8B). Базові показники включали стандартні метрики автоматизованої генерації (ROUGE, METEOR, BERTScore, UMLS-F1). Валідація за участю людей включала трьох доменних експертів, які анотували результати моделей.
Чому варто прочитати
Ця робота об'єднує фреймворки медичних іспитів OSCE з дизайном обчислювального оцінювання, встановлюючи те, як мовні моделі можна оцінювати як екзаменованих, так і як автоматизованих суддів. Вона надає конкретні емпіричні докази щодо розриву валідності між тестуванням із множинним вибором та відкритими практичними завданнями, що робить її вкрай цінною для дослідників, які вивчають оцінювання на основі результатів, надійність підходу LLM-як-суддя та вирівнювання за критеріями промптів.
Головні твердження та перевірені цитати
Орієнтовний переклад: “Наші експерименти показують, що MedQA-CS є складнішим критерієм для оцінювання клінічних навичок, ніж традиційні критерії із запитаннями та варіантами відповідей (наприклад, MedQA).”* (машинний переклад) — 10.18653/v1/2026.eacl-long.292, с. 1, абз. 9 (exact)
Орієнтовний переклад: “Наші експериментальні результати демонструють, що добре розроблені промпти, узгоджені з рекомендаціями OSCE та детальними критеріями оцінювання, розробленими експертами, можуть досягати високої узгодженості оцінювання клінічних навичок між великими мовними моделями та експертами-людьми.”* (машинний переклад) — 10.18653/v1/2026.eacl-long.292, с. 3, абз. 5 (exact)
Обмеження та особливості дослідження
- Розмір набору даних обмежений 44 випадками USMLE Step 2 CS, що недостатно представляє спеціалізовані медичні галузі, рідкісні захворювання, педіатрію та психіатрію.
- Оцінювання обмежене лише текстовими вхідними даними, виключаючи мультимодальні клінічні дані, такі як аудіозаписи мови пацієнта, діагностична візуалізація та фізіологічні криві.
- Фреймворк не оцінює розробку плану лікування через обмеження початкової сфери застосування USMLE Step 2 CS.
- Усі дані бенчмарку англійською мовою, що обмежує загальну застосовність у неангломовних клінічних середовищах.
- суперечить Бенчмарки із запитаннями з множинним вибором передусім вимірюють здобуття фактичних знань, а не практичну клінічну компетентність. «MCQ benchmarks primarily focus on the "knows" and "knows how" levels of Miller’s Pyramid, neglecting the practical skills essential in medical education.», с. 2, абз. 5
- [метрика / визначення]: Стандартні метрики лексичного перетину (ROUGE, UMLS-F1) показали слабку або негативну кореляцію з експертними оцінками людей у відкритих діагностичних та комунікативних завданнях, тоді як керовані промптами судді на базі мовних моделей тісно узгоджувалися з оцінюванням людьми.