From Evaluated Models to Evaluation Aids: A Multi-Evidence Study of LLM-Based Difficulty Calibration for Programming Examinations
Автори: Hongfei Yan, Jiangkai Xiong, Yiqing Li, Chong Chen
Видання / Джерело: arXiv (2026)
Генеративний ШІ може слугувати послідовною та контрольованою «лінійкою» для вимірювання складності іспитів, дозволяючи викладачам виявляти системні розбіжності між очікуваним рівнем складності та фактичними результатами студентів.
Головне з роботи
- Багатофакторна модель на основі ШІ ефективно ранжує рівень складності завдань з програмування, демонструючи високу кореляцію з реальними результатами студентів.
- Метод поєднує аналіз виконання завдань та структуровані рецензії ШІ, допомагаючи викладачам узгоджувати рівень іспитів у паралельних групах.
- Метрики складності від ШІ надійно виявляють структурні тенденції іспитів, проте втрачають точність у вступних курсах з вузьким діапазоном складності завдань.
- Результати свідчать, що такі інструменти підходять для проектування навчальних програм та перевірки якості іспитів, але не придатні для оцінювання окремих студентів.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
Difficulty differences across parallel-class programming examinations affect the fairness of course assessment. This study repositions large language models from benchmark evaluation targets to auxiliary evidence sources for interpreting exam difficulty, combining AI evidence with aggregated student performance, item exposure, online-judge process data, and teacher interpretation. First, ten models solved an eight-problem final exam synchronously with 120 students: AI pass rate correlated positively with student pass rate (Spearman rho = 0.866, exact p = 0.0119), and a solving-based composite difficulty index correlated negatively with it (rho = -0.905, exact p = 0.0046). A single structured reviewer was then run via auditable API calls on a third-party OpenAI-compatible endpoint whose model label (gpt-5.6-sol) cannot authenticate an official OpenAI upstream model; call metadata and raw responses are archived. Across 79 problems from 11 parallel-class final exams, AI overall difficulty correlated with problem-level pass rate at rho = -0.871 and with non-attempt rate at rho = 0.800; in a 26-problem longitudinal Data Structures and Algorithms B sample, the correlations were -0.829 and 0.883. A 106-problem introductory-course (CS101) sample marks the boundary: the problem-level correlation weakened to rho = -0.552, and the exam-level correlation across 16 exams was near zero, with cohort composition dominating exam-level outcomes. Exposure-discount (0-0.40) and duplicate-problem perturbation tests did not change these directions. AI evidence can thus serve as an external reference for problem validation, parallel-class fairness discussion, and longitudinal quality tracking, while the model-identity boundary, single-reviewer design, and review-output instability set explicit limits: AI difficulty scales must not be used for individual student evaluation or automatic grade adjustment.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Забезпечує структуру для валідації ШІ як допоміжного інструменту в навчальному оцінюванні.
- Поєднує докази, згенеровані ШІ, з класичними концепціями, такими як дрейф параметрів завдань.
- Пропонує відтворюваний робочий процес (API-виклики зі збереженням походження даних) для емпіричних досліджень ШІ в освіті.
Методологія та вибірка
Дослідження використало багатоетапний підхід: (1) синхронний іспит за участю 120 студентів та 10 LLM для розв'язання 8 завдань; (2) крос-секційна вибірка з 79 завдань у 11 фінальних іспитах паралельних груп (1031 випадок загалом); (3) лонгітюдна вибірка з 26 завдань (структури даних та алгоритми B) та 106 завдань (вступ до обчислювальної техніки B) за 16 років. Весь аналіз базувався на єдиному рецензенті (gpt-5.6-sol через сторонній API).
Чому варто прочитати
Ця робота пропонує суворий методологічний план використання LLM як допоміжних інструментів для оцінювання, а не як засобів виставлення оцінок, чітко вписуючи цю практику в теорію психометрії та валідності, забезпечуючи при цьому прозорі й відтворювані канали для API-рецензування.
Головні твердження та перевірені цитати
Орієнтовний переклад: “Рівень успішності AI позитивно корелював із рівнем успішності студентів (Spearman rho = 0,866, точне двостороннє перестановкове p = 0,0119)”* (машинний переклад) — 10.48550/arxiv.2608.07523, с. 1, абз. 5 (exact)
Обмеження та особливості дослідження
- Доказова база рецензування спирається на єдиного рецензента (gpt-5.6-sol) з потенційною нестабільністю виводу.
- Ідентифікатор моделі не може гарантувати походження, а продуктивність залежить від обмежень сторонніх API.
- Шкали складності ШІ не повинні використовуватися для індивідуального оцінювання студентів або автоматичного коригування балів.
- Лонгітюдний аналіз для вступних курсів вказує на межу, де дискримінативна здатність шкали послаблюється.
- [generalizability / чутливість до домену]: Дослідження підтверджує ефективність методу в контекстах поглибленого програмування, але вказує на зниження кореляції у вступних (CS101) контекстах, що свідчить про залежність валідності «лінійки» від варіативності навичок цільової аудиторії.