Large Language Model Accuracy on Subspecialty Anaesthesiology Examination Questions
Muhammed Nezih KOÇ, Sait Ramazan GÜLBAY · Journal of Contemporary Medicine (2026) · doi:10.16899/jcm.2008162 · gemini-3.6-flash
Суть роботи
Це дослідження випробувало сім моделей штучного інтелекту на медичному іспиті зі 120 питаннями, повторюючи кожне питання п'ять разів для перевірки стабільності результатів. Дослідники виявили, що звичайні статистичні методи штучно завищують впевненість у балах ШІ, ігноруючи той факт, що повторення однакових питань створює повторювані вимірювання, а не незалежні точки даних. За умови правильного аналізу відмінності в загальній точності моделей залишаються реальними, але деталізовані заяви про специфічні сильні та слабкі сторони в окремих доменах здебільшого руйнуються.
Метод і вибірка: Банк текстових запитань із 120 тестових пунктів із п'ятьма варіантами відповідей, написаних у стилі іспиту з субспеціальності «Анестезіологія та реанімація» (з орієнтацією на національні навчальні програми та керівництва), було запропоновано семи відкритим LLM (наприклад, варіантам лінійок Qwen та Llama). Кожна модель виконала 5 незалежних прогонів за температури 0 із детермінованим ранжуванням порядку варіантів відповідей для кожного прогону, що дало загалом 4200 відповідей (7 моделей x 5 прогонів x 120 унікальних пунктів). Первинна статистика точності використовувала кластерний бутстрап для ресемплінгу пунктів за 4000 реплік.
#psychometrics#cluster_bootstrap#confidence_intervals#LLM_evaluation#medical_education#item_response_data#measurement_error