Preregistration of the Expert-Panel Analysis Plan: LLMs as Pre-Administration Item Reviewers in Programming Education
Mehmet İsmail SOLMAZ · Zenodo (CERN European Organization for Nuclear Research) (2026) · doi:10.5281/zenodo.23110642 · gemini-3.1-flash-lite
Суть роботи
Автори планують дослідження, щоб з'ясувати, чи може ШІ допомагати експертам покращувати тести з програмування, вчасно виявляючи невдалі питання. Вони порівняють думки людей, моделі ШІ та стандартні результати тестування студентів, щоб зрозуміти, чи збігаються вони в оцінці якості питань. Це допоможе визначити, чи може ШІ стати корисним інструментом для викладачів при розробці більш точних та справедливих іспитів.
Метод і вибірка: Набір даних складається з тесту з C# з 60 питань з множинним вибором. Вибірка студентів (N=150) — це здобувачі ступеня молодшого спеціаліста за напрямом комп'ютерного програмування. Протестовані LLM: Claude Opus 5.5, GPT-6.1 Sol та DeepSeek V4 Pro. Експертна група складається з чотирьох-п'яти фахівців у галузі комп'ютерної освіти та програмування.
#дизайн_оцінювання#аналіз_завдань#оцінка_LLM#змістова_валідність#психометрія