quasi_experiment

Assessment of Clinical Competence Using AI-Standardized Clinical Examination

Автори: Antonio Lopez, Ludovic Gabellier, Clement Peytavi, Zeno Loi, Emma Lavigne, Catherine Plotton, Vincent Dupont, Léon Jahdauti, P. De Vries, Philippe Thuillier, Maxence Compagnat, Pascale Vergne‐Salle, Mathieu Kuchenbuch, Eva Feigerlová, P. Berthelot, Nathalie Bednarek, Béatrice Cochener, Pierre-Yves Robert, Marc Braun, Denis Morin, Philippe Deruelle, Isabelle Laffont, Yves‐Marie Pers, Kévin Yauy
Видання / Джерело: medRxiv (2026)

Чи може ШІ замінити стандартизованих пацієнтів та екзаменаторів, забезпечуючи при цьому таку ж якість оцінки компетенцій студентів?

Суть дослідження (TL;DR)

Стиль викладу

Дослідники протестували новий клінічний іспит на базі ШІ, де студенти взаємодіяли з віртуальними пацієнтами, а штучний інтелект оцінював їхні результати. Виявилося, що результати студентів на цьому іспиті досить добре корелюють з їхніми реальними балами на державних іспитах. Це свідчить про те, що ШІ потенційно може масштабувати стандартизовані оцінювання, хоча участь експертів все ще залишається необхідною.

Це дослідження оцінило стандартизований клінічний іспит з використанням ШІ (ASCE), де GPT-4o імітував пацієнтів, а GPT-4.1 здійснював автоматичне оцінювання. Серед 588 студентів-медиків результати ASCE продемонстрували помірну кореляцію (ρ=0.57) з оцінками на національних іспитах високого рівня відповідальності. Автоматичні бали ШІ досягли надійності, порівнянної з експертною оцінкою людей.

Анотація авторів (оригінал)

BACKGROUND: As artificial intelligence (AI) enters clinical practice, concerns about deskilling and never-skilling make the independent assessment of clinical competence increasingly important. The AI-Standardized Clinical Examination (ASCE) uses AI to simulate and score standardized clinical encounters, potentially overcoming some of the logistical and standardization constraints of conventional objective structured clinical examinations (OSCEs). Whether it provides valid and reliable assessment at scale is unknown. METHODS: In this prospective multicenter cohort study, final-year medical students from six French medical schools completed a 10-station ASCE six weeks before the national OSCE session. GPT-4o simulated standardized clinical partners; transcripts were subsequently scored by GPT-4.1 against faculty-defined rubrics. The primary outcome was the correlation between ASCE and national OSCE scores. Secondary outcomes were inter-rater reliability of expert transcript scoring, alignment of ASCE scores with expert ratings, and internal consistency. RESULTS: Among 948 enrolled students, 588 had paired ASCE and national OSCE scores. ASCE scores were correlated with national OSCE performance (Spearman's ρ, 0.57; 95% CI, 0.51 to 0.63), with less than 1% of residual variance attributable to center (intraclass correlation coefficient, 0.01). Eight experts scored 20 randomly selected ASCE transcripts; Krippendorff's α was 0.77 overall, 0.80 for clinical skills, and 0.70 for communication and attitude skills. Adding GPT-4.1 as an evaluator reduced α by 0.02, and its scores did not differ significantly from those of individual experts. Internal consistency was 0.67 across 10 stations and was projected to approach 0.80 with 20 stations. CONCLUSIONS: Scores from an examination delivered and scored by AI were associated with performance on a national high-stakes OSCE, with minimal center-level variation, tentative agreement among expert raters, and automated scores that aligned with expert ratings. These results support AI delivery and scoring of clinical examinations, with expert review of automated scores.

Переклад анотації не надається.

Оцінка за критеріями якості та релевантності

Новизна
8.0/10
Методологічна строгість
8.0/10
Інженерні контрзаходи
5.0/10
Виклик консенсусу
5.0/10
Тематична відповідність
8.0/10

Тематична релевантність для освітян

  • Надає основу для валідації ШІ-оцінювання на основі традиційних бенчмарків високого рівня відповідальності.
  • Пропонує шаблон для оцінки послідовності автоматизованого оцінювання за допомогою коефіцієнта Кріппендорфа.
  • Демонструє використання формули пророцтва Спірмена-Брауна для визначення кількості станцій, необхідних для надійності.

Методологія та вибірка

Проспективне багатоцентрове когортне дослідження за участю 948 студентів шостого курсу медичних факультетів із шести французьких університетів. У 588 студентів було зіставлено бали ASCE та національних OSCE. GPT-4o використовувався для симуляції стандартизованих пацієнтів, а GPT-4.1 — для оцінки транскриптів на основі розроблених факультетом рубрик.

Чому варто прочитати

Ця стаття є одним із перших ґрунтовних багатоцентрових досліджень клінічного іспиту, де ШІ повністю забезпечує і процес взаємодії, і оцінювання, порівнюючи результати з незалежним національним іспитом високого рівня відповідальності. Це пропонує конкретну модель для масштабованого оцінювання компетенцій.

Головні твердження та перевірені цитати

Оцінювання за допомогою ШІ досягає надійності, порівнянної з експертною оцінкою людей, для оцінювання клінічних навичок.
Оригінал: “Adding GPT-4.1 reduced α by 0.02 across all three domains; the AI-inclusive α fell within the 95% confidence interval of the experts only estimate.”
Орієнтовний переклад: “Додавання GPT-4.1 зменшило α на 0,02 за всіма трьома доменами; α з урахуванням ШІ потрапив у межі 95% довірчого інтервалу оцінки лише експертів.”* (машинний переклад) — 10.64898/2026.10.01.26364500, с. 15, абз. 14 (exact)

Обмеження та особливості дослідження

  • Немає змагального тестування: не згадано в тексті
  • ASCE не оцінює фізикальне обстеження або процедурні навички.
  • Внутрішня узгодженість (альфа Кронбаха = 0.67) залишається нижчою за загальноприйняті порогові значення для іспитів високого рівня відповідальності.
  • Угода щодо автоматизованого оцінювання ґрунтувалася на невеликій вибірці з 20 транскриптів, де були відсутні експертні оцінки.
  • Дослідження залежало від пропрієтарних ШІ-моделей, що залежать від версій та вразливі до прихованих оновлень або відмови від підтримки.
З тексту статті (цитата перевірена)
  • підтримує Автоматизоване оцінювання нотаток OSCE показує перспективну кореляцію з експертними оцінками. «AI-based scoring of OSCE post-encounter notes and written clinical reports has also shown promising correlation with expert raters [11,12].», с. 8, абз. 20
Висновок моделі (прогалини та суперечності)
  • [вибірка / упередженість вибірки]: Учасники частіше були жінками та вже мали досвід навчання на цифрових платформах, що може обмежити узагальнюваність виявленої кореляції результатів.