MS-Exam-Gen: Source-Grounded Benchmark Construction for Evaluating LLMs on Textual Multiple Sclerosis MRI Knowledge
Автори: Abdul Basit, Muhammad Abdullah Hanif, Muhammad Shafique
Видання / Джерело: arXiv (2026)
Автоматична генерація тестових завдань несе ризик появи підказок, що спотворюють оцінку, якщо результати не проходять суворий аудит на основі джерел та емпіричної складності.
Головне з роботи
- Розроблена методика забезпечує прозоре та відтворюване створення тестових завдань на основі верифікованих джерел для оцінювання знань ШІ в галузі медицини.
- Емпіричні дані вказують на ненадійність автоматично присвоєних рівнів складності, що робить необхідним використання узгодженості моделей для верифікації тестових питань.
- Результати демонструють значну варіативність успішності моделей, причому окремі клінічні підтеми залишаються проблемними незалежно від загальної ефективності системи.
- Обмеженням дослідження є відсутність експертної клінічної верифікації, що може впливати на валідність згенерованих ключів відповідей.
- Аналіз показує, що складна архітектура формування питань не завжди гарантує очікуваний рівень психометричної складності для мовних моделей.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
Biomedical large language model (LLM) evaluation requires auditable assessment of narrow, evolving, source-grounded subspecialty knowledge. Multiple sclerosis MRI (MS-MRI) provides a high-stakes textual-knowledge test case because correct reasoning requires current diagnostic criteria, standardized acquisition and reporting knowledge, longitudinal monitoring concepts, lesion morphology, and recognition of difficult mimics. We present MS-Exam-Gen, a reproducible framework for constructing and auditing a text-based multiple-choice question (MCQ) benchmark for MS-MRI knowledge; it does not evaluate direct MRI image interpretation. MS-Exam-Gen targets source-grounded criteria, protocols, reporting, and differential diagnosis. The framework combines expert-source indexing, exam-oriented topic induction, evidence-grounded MCQ generation, automated quality audits, a same-family consistency screen, and empirical calibration. From a 66-source corpus indexed into 4,289 retrieval chunks, the pipeline produced a locked 3,058-item candidate benchmark spanning 16 topics and 53 subtopics. Evaluation across 12 primary LLM endpoints yielded 36,696 item-level predictions and separated performance over a 42.8-percentage-point accuracy range (89.7% to 46.9%). Across these endpoints, 25.5% of items were missed by at least four. Post-generation audits showed that refreshed construction reduced measurable answer cues, while option-order testing showed that absolute MCQ scores remain position-sensitive. Generated construction labels remain metadata rather than validated psychometric categories. Because expert adjudication and full option-order counterbalancing remain future work, MS-Exam-Gen is not a clinically certified examination. It should be interpreted as an automatically filtered, source-grounded candidate benchmark and reproducible audit workflow for item-level and topic-specific LLM evaluation.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Корисно для формування аргументів щодо валідності згідно з моделлю Мессіка/Кейна, переносячи фокус з «загального балу» на «докази, засновані на джерелах».
- Надає конкретну методологію для калібрування рівня питань, коли рецензування експертами є недоступним або занадто дорогим.
- Демонструє методи виявлення та пом'якшення проблеми попереднього ознайомлення з тестами через аудит підказок.
Методологія та вибірка
У дослідженні використано кураторський корпус із 66 джерел (4289 фрагментів) для створення бенчмарку з 3058 питань з множинним вибором. Панель моделей включала 13 LLM (Gemini 2.5 Flash, GPT-5 mini, Llama 4 Maverick, DeepSeek Chat, Claude Haiku 4.5, GPT-4o mini, Gemini 2.5 Flash Lite, GPT-5 nano, Qwen3 14B, Qwen3 8B, Llama 3.1 8B, Mistral та Phi-4 mini), де 12 слугували основною панеллю оцінювання (36 696 відповідей).
Чому варто прочитати
Це дослідження пропонує рідкісний, прозорий та відтворюваний робочий процес для створення вузькоспеціалізованих тестів, де акцент зміщено з сліпої довіри до ШІ-міток на аудиторність, фільтрацію підказок та емпіричне калібрування.
Головні твердження та перевірені цитати
Орієнтовний переклад: “Це підтверджує зменшення вимірюваного підказування”* (машинний переклад) — 10.48550/arxiv.2610.06170, с. 5, абз. 28 (exact)
Обмеження та особливості дослідження
- no_full_adversarial_testing: не згадано в тексті
- Бенчмарк не пройшов експертну клінічну оцінку на предмет коректності всіх створених запитань та ключів відповідей.
- Дослідження не оцінювало продуктивність моделей у порівнянні з фахівцями або інтернами.
- Врівноваження порядку варіантів відповідей проводилося лише на невеликій пілотній вибірці, а не на всьому банку завдань.
- Використаний корпус є широким, проте не є вичерпним у контексті клінічних знань про МРТ при розсіяному склерозі.
- підтримує Тести з множинним вибором чутливі до порядку варіантів відповідей та артефактів у ключах. «multiple-choice evaluations can be sensitive to option ordering and answer-label artifacts», с. 2, абз. 9
- підтримує Судді-LLM можуть демонструвати упередженість щодо позиції або оцінювання. «LLM judges can exhibit position or scoring biases», с. 2, абз. 9
- [Methodology / Валідність вимірювання]: Робота підкреслює критичну прогалину в сучасному створенні бенчмарків: ототожнення автоматичного схвалення генератором (або навіть фільтром узгодженості) з істинною психометричною валідацією.