Identifying Items on Which Humans and Chatbots Diverge Using Differential Item Functioning
Автори: Licol Zeinfeld, Alona Strugatski, Ziva Bar-Dov, Ron Blonder, Shelley Rap, Giora Alexandron
Видання / Джерело: Zenodo (CERN European Organization for Nuclear Research) (2026)
Застосування диференційного функціонування пунктів із фільтрацією за кореляцією пункт-загальний бал надійно виявляє тестові питання, у яких штучний інтелект і людські студенти розходяться в результатах.
Головне з роботи
- Логістична регресія DIF у поєднанні з фільтрацією за кореляцією між пунктом і загальним балом надійно ізолює пункти, де чат-боти та люди демонструють різну результативність за однакових рівнів здібностей.
- DIF Мантеля-Хенселя створює високий рівень хибнопозитивних результатів під час порівняння людей і ШІ, тоді як LR-DIF демонструє сильну стабільність під час плацебо-тестування.
- Великі мовні моделі перевершують студентів з аналогічними здібностями на концепціях, що базуються на правилах, уникаючи поширених студентських помилкових уявлень, але поступаються на пунктах, що вимагають візуальних діаграм або багатокрокових міркувань.
- Спеціалісти з оцінювання можуть використовувати аналітику DIF між людиною та ШІ, щоб точно визначити завдання, вразливі до допомоги ШІ, та відповідно адаптувати дизайн іспитів.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
The rapid adoption of large language models (LLMs) in education raises profound challenges for assessment design. To adapt assessments to the presence of LLM-based tools, it is crucial to characterize the strengths and weaknesses of LLMs in a generalizable, valid and reliable manner. However, current LLM evaluations often rely on descriptive statistics derived from benchmarks, and little research applies theory-grounded measurement methods to characterize LLM capabilities relative to human learners in ways that directly support assessment design. Here, by combining educational data mining and psychometric theory, we introduce a statistically principled approach for identifying items on which humans and LLMs show systematic response differences, pinpointing where assessments may be most vulnerable to AI misuse, and which task dimensions make problems particularly easy or difficult for generative AI. The method is based on Differential Item Functioning (DIF) analysis – traditionally used to detect bias across demographic groups – together with negative control analysis and item-total correlation discrimination analysis. It is evaluated on responses from human learners and six leading chatbots (ChatGPT-4o \& 5.2, Gemini 1.5 \& 3 Pro, Claude 3.5 \& 4.5 Sonnet) to two instruments: a high school chemistry diagnostic test and a university entrance exam. Subject-matter experts then analyzed DIF-flagged items to characterize task dimensions associated with chatbot over- or under-performance. Results show that DIF-informed analytics may provide a theory-grounded framework for understanding where LLM and human capabilities diverge, and highlight their value for improving the design of valid, reliable, and fair assessment in the AI era.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Вкрай актуально для досліджень валідності освітнього оцінювання за умов генеративного штучного інтелекту.
- Надає конкретну психометричну методологію (LR-DIF + фільтрація ITC) для моделювання спотворень на рівні пунктів та розривів у продуктивності між людиною та ШІ.
- Пропонує емпіричні дані щодо вимірів завдань, які роблять пункти стійкими до ШІ проти вразливих до ШІ.
Методологія та вибірка
У дослідженні оцінювалися відповіді екзаменованих-людей за допомогою двох інструментів: 22-пунктного діагностичного тесту з хімії для старшої школи (N=931 студент) та 40-пунктної кількісної секції університетського психометричного вступного іспиту (N>4,800 студентів). Дані чат-ботів включали 120 наборів відповідей, згенерованих протягом 20 незалежних запусків на модель для шести ШІ: OpenAI GPT-4o та GPT-5.2, Google Gemini 1.5 Pro та Gemini 3 Pro, а також Anthropic Claude 3.5 Sonnet та Claude 4.5. Оцінювані методи включали MH-DIF та LR-DIF, перевірені за допомогою 50-разового негативного контрольного плацебо-тесту (заміна чат-ботів випадковими підмножинами людей) та діагностовані за допомогою ITC. Якісні експертні оцінки охарактеризували позначені за DIF пункти з хімії.
Чому варто прочитати
Ця робота привносить зрілу психометричну теорію в дебати щодо валідності штучного інтелекту в освіті. Замість того, щоб покладатися на прості показники точності бенчмарків, вона впроваджує принциповий метод (LR-DIF з фільтрацією ITC) для контролю загальних здібностей екзаменованих та ізоляції характеристик на рівні пунктів, які роблять тестові питання вразливими або стійкими до ШІ. Вона пропонує розробникам оцінювання дієвий, статистично валідний фреймворк для аудиту та редизайну тестів із множинним вибором для неконтрольованих середовищ або середовищ, де домінує ШІ.
Головні твердження та перевірені цитати
Орієнтовний переклад: “Застосування LR-DIF до завдань з ITC ≥ 0.2 є надійним методом виявлення завдань, які з високою впевненістю демонструють диференційну поведінку між людьми та чат-ботами.”* (машинний переклад) — 10.5281/zenodo.21039814, с. 6, абз. 10 (exact)
Орієнтовний переклад: “Наш метод на основі LR-DIF пропонує моделювання, яке також уможливлює виявлення нерівномірних патернів DIF, у яких або величина, або напрямок групових відмінностей варіюються залежно від рівня здібностей.”* (машинний переклад) — 10.5281/zenodo.21039814, с. 7, абз. 1 (exact)
Орієнтовний переклад: “MH-DIF, зазвичай типовий вибір через його простору, створює значний шум і високий рівень хибнопозитивних результатів.”* (машинний переклад) — 10.5281/zenodo.21039814, с. 7, абз. 1 (exact)
Обмеження та особливості дослідження
-
Нерепрезентативна вибірка:
виявлено
“The main limitation to external validity is that the results are based on a small number of instruments and specific GenAI tools.” (с. 7)
- Єдиний детектор: не згадано в тексті
- Немає змагального тестування: не згадано в тексті
- Лише одна мова: не згадано в тексті
- Бімодальні розподіли здібностей чат-ботів між старішими та новішими поколіннями моделей зменшили ефективний розмір даних під час стратифікації здібностей.
- Оцінювання пунктів використовувало бінарне оцінювання (правильно/неправильно), яке не може фіксувати часткові бали або проміжні кроки міркувань.
- Експертний якісний аналіз характеристик завдань DIF був проведений на тесті з хімії, але ще не відтворений на кількісному вступному іспиті.
- Зовнішня валідність обмежена тестуванням лише двох інструментів оцінювання та шести конфігурацій ШІ.
- суперечить Чат-боти обходили хибні уявлення студентів на концептуальних пунктах з хімії, що суперечить попереднім висновкам про узгодженість між мовними моделями та патернами помилок студентів. «the fact that the chatbots dodged these designated 'traps' is interesting, and is in disagreement with previous work that found moderate alignment between LLMs and student misconceptions [12].», с. 7, абз. 2
- підтримує Низька продуктивність чат-ботів на візуальних та багатокрокових пунктах узгоджується з попередніми висновками щодо обмежень генеративного ШІ у вирішенні завдань STEM. «These findings reinforce previous work about GenAI problem solving in STEM domains [24, 26].», с. 7, абз. 2
- [метод / психометричне припущення]: Стандартний DIF передбачає одновимірність конструкту в усіх групах, але люди та ШІ використовують принципово різні когнітивні та алгоритмічні механізми, що може спричинити штучний DIF через багатовимірність, а не через упередженість пункту.