psychometric_modeling

Large Language Model Accuracy on Subspecialty Anaesthesiology Examination Questions

Автори: Muhammed Nezih KOÇ, Sait Ramazan GÜLBAY
Видання / Джерело: Journal of Contemporary Medicine (2026)

Стандартні статистичні аналізи в іспитових бенчмарках для LLM зменшують невизначеність вимірювань удвічі, створюючи хибні твердження щодо ефективності підгруп.

Головне з роботи

Наївні біноміальні довірчі інтервали серйозно переоцінюють статистичну точність в оцінюванні бенчмарків LLM, оскільки повторні запити на одні й ті самі пункти корелюють.
Кластерно-бутстрапна ресемплінг-вибірка на рівні пунктів показує, що більшість заявлених відмінностей у продуктивності LLM на рівні підгруп та доменів є статистично нерозрізнюваними.
Невеликі банки тестів приблизно зі 120 пунктів можуть ефективно розділяти моделі з великими загальними розривами в продуктивності, але не можуть надійно ідентифікувати специфічні для доменів слабкі сторони.

Суть дослідження (TL;DR)

Простими словами Словами дослідження

Це дослідження випробувало сім моделей штучного інтелекту на медичному іспиті зі 120 питаннями, повторюючи кожне питання п'ять разів для перевірки стабільності результатів. Дослідники виявили, що звичайні статистичні методи штучно завищують впевненість у балах ШІ, ігноруючи той факт, що повторення однакових питань створює повторювані вимірювання, а не незалежні точки даних. За умови правильного аналізу відмінності в загальній точності моделей залишаються реальними, але деталізовані заяви про специфічні сильні та слабкі сторони в окремих доменах здебільшого руйнуються.

Оцінювання великих мовних моделей на повторюваних екзаменаційних завданнях створює згруповані спостереження, які роблять стандартні наївні довірчі інтервали недійсними. Адміністрування банку питань з субспеціальності анестезіології з 120 пунктів для семи моделей у п'яти прогонах показало, що стійкі до кластерів довірчі інтервали були ширшими за наївні інтервали Вілсона в 25 із 26 оцінок із медіанним фактором 2,1. Отже, хоча бенчмарки з 120 пунктів можуть надійно ранжувати загальну продуктивність моделей, зазвичай відтворювані відмінності на рівні підгруп та доменів здебільшого зникають при аналізі з урахуванням кластерів.

Анотація авторів (оригінал)

Aim: In large language model (LLM) examination studies, models answer the same items repeatedly, so observations are clustered and conventional intervals overstate precision. We aimed to measure the accuracy of seven LLMs on a subspecialty-level anaesthesiology question bank and to determine which between-model and subgroup differences remain distinguishable under a cluster-respecting analysis.Materials and Methods: A 120-item, five-option multiple-choice bank in the style of the Anaesthesiology and Reanimation Subspecialty Examination, written by the authors and reviewed against current guidelines and textbooks, was administered to seven LLMs in five runs at temperature 0, with option order re-randomised per run (4,200 responses from 120 unique items). Accuracy is reported with cluster bootstrap 95% confidence intervals (CIs) resampling items (4,000 replicates) and naive Wilson intervals for comparison; subgroup analyses are exploratory.Results: Pooled accuracy was 80.1% (cluster-robust 95% CI 75.8-83.9; naive Wilson 78.8-81.3). Between-model differences were large and robust, spanning 60.8% (54.0-67.5) to 94.0% (90.3-97.0) with non-overlapping extremes. Cluster-robust intervals were wider in 25 of 26 estimates (median factor 2.1, range 0.8-4.0). Most subgroup comparisons were not distinguishable, intervals overlapping substantially: vignette (75.4%, 62.5-86.5) versus non-vignette (80.9%, 76.6-84.9) and guideline-dependent (73.0%, 64.6-80.7) versus other items (80.9%, 76.6-84.9). Only contrasts between weakest and strongest domains persisted. Between-run standard deviation was 1.26-2.80 points.Conclusion: Between-model differences and run-to-run instability are robust; commonly emphasised domain and item-characteristic differences are mostly not distinguishable once clustering is respected. Benchmarks of 120 items can separate models whose accuracies differ widely but cannot reliably localise their weaknesses.

Переклад анотації не надається.

Оцінка за критеріями якості та релевантності

Новизна

6.0/10

Методологічна строгість

7.5/10

Інженерні контрзаходи

5.5/10

Виклик консенсусу

7.5/10

Тематична відповідність

8.0/10

Тематична релевантність для освітян

Надає кількісну методологію (кластерний бутстрап) для оцінювання відповідей LLM на тестові завдання з урахуванням кластеризації на рівні пунктів.
Демонструє психометричну вразливість використання некаліброваних бенчмарків із невеликою кількістю пунктів для тверджень про специфічні когнітивні субнавички або змістовні домени ШІ.
Підкреслює упередженість щодо позиції варіантів та нестабільність декодуючого пристрою як ключові джерела похибки вимірювання, коли LLM оцінюються як екзаменовані.

Методологія та вибірка

Банк текстових запитань із 120 тестових пунктів із п'ятьма варіантами відповідей, написаних у стилі іспиту з субспеціальності «Анестезіологія та реанімація» (з орієнтацією на національні навчальні програми та керівництва), було запропоновано семи відкритим LLM (наприклад, варіантам лінійок Qwen та Llama). Кожна модель виконала 5 незалежних прогонів за температури 0 із детермінованим ранжуванням порядку варіантів відповідей для кожного прогону, що дало загалом 4200 відповідей (7 моделей x 5 прогонів x 120 унікальних пунктів). Первинна статистика точності використовувала кластерний бутстрап для ресемплінгу пунктів за 4000 реплік.

Чому варто прочитати

Ця робота присвячена фундаментальній статистичній помилці в тому, як великі мовні моделі оцінюються на іспитах для здобуття освітніх та професійних сертифікатів. Продемонструвавши, що наївні довірчі інтервали недооцінюють межі похибки більш ніж на 50%, автори надають психометристам та дослідникам оцінювання важливу методологічну структуру (кластерно-бутстрапний ресемплінг) для дійсного аналізу бенчмарків LLM.

Головні твердження та перевірені цитати

Відмінності в продуктивності підгруп та специфічні для доменів дефіцити, про які повідомляється в невеликих бенчмарках LLM, здебільшого статистично нерозрізнювані, якщо взяти до уваги кластеризацію пунктів.

Оригінал: “In contrast, the domain and item-characteristic differences that such studies conventionally emphasise were, with few exceptions, not distinguishable once the 120 unique items were treated as the clusters they are.”
Орієнтовний переклад: “Натомість відмінності за доменами та характеристиками завдань, на яких зазвичай наголошують такі дослідження, за небагатьма винятками, не були помітними, щойно 120 унікальних завдань розглядали як кластери, якими вони є.”^{* (машинний переклад)} — 10.16899/jcm.2008162, с. 7, абз. 5 (exact)

Продуктивність складання іспитів LLM демонструє варіативність між прогонами навіть за оцінювання за нульової температури з детермінованими налаштуваннями висновку.

Оригінал: “Differences between models were large and robust to an analysis respecting the clustered design, as was run-to-run instability of up to 2.80 percentage points at temperature 0.”
Орієнтовний переклад: “Відмінності між моделями були значними та стійкими до аналізу, що враховував кластерний дизайн, як і нестабільність від запуску до запуску до 2,80 відсоткового пункту за температури 0.”^{* (машинний переклад)} — 10.16899/jcm.2008162, с. 7, абз. 5 (exact)

Обмеження та особливості дослідження

Єдиний детектор: не згадано в тексті
Немає змагального тестування: не згадано в тексті
Лише одна мова: не згадано в тексті

Банк питань містив лише 120 унікальних пунктів, що призвело до дуже малого їхньої кількості (від 3 до 25 пунктів) на один субспеціалізований домен.
Класифікація пунктів за контентними доменами та бінарними характеристиками виконувалася одним фахівцем без незалежного дублювання чи перевірки надійності між експертами.
Пункти не мали попереднього психометричного калібрування на людях-екзаменованих, що унеможливлює пряме зрівняння зі складністю офіційних іспитів.
Вибірка моделей обмежувалася моделями з відкритим доступом через API, переважно споріднених лінійок з відкритими вагами, виключаючи комерційні пропрієтарні моделі вищого рівня.

З тексту статті (цитата перевірена)

підтримує Точність LLM чутлива до порядку перестановки варіантів відповідей у запитаннях із множинним вибором. «Because option order was re-randomised per run, part of the spread reflects the known sensitivity of LLMs to option position», с. 6, абз. 6
підтримує Бали на опублікованих ліцензійних іспитах можуть бути штучно завищені через зараження даних набору для навчання. «Scores on public examinations may also be inflated by exposure to the items during training», с. 2, абз. 2

Висновок моделі (прогалини та суперечності)

[метод / невідповідність одиниці аналізу]: Стандартне порівняння іспитів розглядає окремі випадки відповідей LLM як незалежні стандартні випробування Бернуллі, ігноруючи внутрішньокластерну кореляцію на рівні пунктів у повторних прогонах і моделях.

#psychometrics #cluster_bootstrap #confidence_intervals #LLM_evaluation #medical_education #item_response_data #measurement_error