Preregistration of the Expert-Panel Analysis Plan: LLMs as Pre-Administration Item Reviewers in Programming Education
Автори: Mehmet İsmail SOLMAZ
Видання / Джерело: Zenodo (CERN European Organization for Nuclear Research) (2026)
Це дослідження перевіряє, чи можуть великі мовні моделі виступати надійними автоматизованими співавторами для заміни або доповнення експертів у виявленні помилкових питань у тестах з програмування.
Головне з роботи
- Дослідження пропонує структуровану модель для оцінки узгодженості між судженнями експертів, висновками LLM та класичними психометричними показниками.
- Запропонована методологія застосовує статистичні інструменти, зокрема індекси змістової валідності, для вимірювання згоди між експертами під час розробки тестів.
- Обмежена кількість експертів та фокус на одній мові програмування можуть обмежувати застосування результатів в інших галузях чи форматах оцінювання.
- Впровадження цього протоколу може оптимізувати створення складних іспитів завдяки автоматизації процесу перевірки тестових завдань.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
This record preregisters the analysis plan for the expert-panel component of a study comparing large language model (LLM) item reviews with classical item analysis for a 60-item multiple-choice C# programming achievement test (associate degree, Türkiye). The plan was registered before any expert response was collected. Classical item analysis (N = 150 students) and blind LLM evaluations (Claude Opus 5.5, GPT-6.1 Sol, DeepSeek V4 Pro; two rounds each) were completed before registration and are not part of the preregistered analyses. The plan specifies content-validity indices (I-CVI, modified kappa, S-CVI), inter-rater consistency measures, comparisons of expert judgements with LLM judgements and empirical indices, expert versus LLM accuracy in predicting the most attractive distractor, and a triangulation-based item-selection protocol. Item texts are not shared for test-security reasons. Version 1.1 (2 October 2026) adds an amendment registered before any expert response was received: panel of four experts; exclusion of an AI-generated pilot response from the preregistered analyses; and a sensitivity analysis by programming background. The primary analyses are unchanged.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Забезпечує методологію інтеграції LLM у процес психометричного відбору завдань.
- Пропонує шаблон для проведення емпіричної валідації роботи LLM як рецензентів тестів.
- Вирішує практичну проблему управління якістю тестування в умовах розвитку генеративного ШІ.
Методологія та вибірка
Набір даних складається з тесту з C# з 60 питань з множинним вибором. Вибірка студентів (N=150) — це здобувачі ступеня молодшого спеціаліста за напрямом комп'ютерного програмування. Протестовані LLM: Claude Opus 5.5, GPT-6.1 Sol та DeepSeek V4 Pro. Експертна група складається з чотирьох-п'яти фахівців у галузі комп'ютерної освіти та програмування.
Чому варто прочитати
Робота надає строгий, заздалегідь зареєстрований протокол використання LLM для допомоги в інженерії оцінювання, вирішуючи ключову проблему підтримки якості тестів, стійких до впливу ШІ, шляхом автоматизованого рецензування завдань.
Головні твердження та перевірені цитати
Орієнтовний переклад: “З чотирма експертами застосовується критерій I-CVI 1,00 (Lynn, 1986)”* (машинний переклад) — 10.5281/zenodo.23110642, с. 3, абз. 4 (exact)
Обмеження та особливості дослідження
-
Мала вибірка:
виявлено
“With four experts, the I-CVI criterion of 1.00 (Lynn, 1986) applies, as already specified in Section 4.2; the panel size is reported as a limitation.” (с. 3)
- Розмір групи з чотирьох експертів є відносно малим, що вимагає застосування суворих критеріїв змістової валідності.
- Тексти питань залишаються конфіденційними з міркувань безпеки, що обмежує можливості зовнішніх дослідників щодо перевірки якості завдань.
- Дослідження зосереджено на конкретній мові програмування (C#), що може обмежувати можливість узагальнення результатів на інші дисципліни або формати тестування.
- підтримує Дослідження приймає критерії Лінн (1986) для оцінки змістової валідності. «Criterion: I-CVI = 1.00 with 3-5 experts; I-CVI ≥ .78 with 6 or more experts (Lynn, 1986).», с. 2, абз. 7
- [метод / методологічний пробіл]: Автори визнають, що показник CVR Лоуше не розраховується, підкреслюючи відсутність консенсусу щодо найбільш доречних метрик валідності, коли пріоритетом є безпека тесту.