quasi_experiment

Faster Completion, Less Learning: Generative AI Reduced Study Time on Math Problems and the Knowledge They Build

Автори: Sina Rismanchian, Hasan Uzun, Jeffrey Matayoshi, Eric Cosyn, Eyad Kurd-Misto
Видання / Джерело: arXiv (2026)

Штучний інтелект скорочує час на навчання, але чи не коштує це нам фундаментальних знань?

Суть дослідження (TL;DR)

Стиль викладу

Це дослідження вивчало, як інструменти генеративного ШІ змінили спосіб, у який мільйони студентів виконують математичні завдання. Дослідники виявили, що студенти набагато швидше завершують текстові задачі, що пов'язано з помітним зниженням їхньої здатності зберігати інформацію. Ця модель поведінки свідчить про те, що студенти делегують своє мислення ШІ замість того, щоб виконувати роботу самостійно, що призводить до слабших результатів навчання.

Це дослідження аналізує 3,2 мільйона навчальних взаємодій та 12,2 мільйона показників часу відповіді на завдання, щоб дослідити вплив генеративного ШІ на поведінку студентів та ефективність навчання. Використовуючи квазіекспериментальний дизайн, заснований на варіативності сприйнятливості завдань до ШІ, автори виявили значне скорочення часу на вивчення текстових математичних задач після появи ChatGPT. Результати демонструють, що ця зміна поведінки корелює з 25-відсотковим кумулятивним зниженням рівня засвоєння знань, що підтверджується падінням результатів на контрольованих іспитах.

Анотація авторів (оригінал)

How much have students' ordinary learning processes shifted in response to generative AI, and how does that affect their durable learning outcomes? Self-report surveys show little change, while small-scale behavioral studies report widespread AI use without the scale or duration to measure learning consequences. We address both questions using a ten-year panel of $3.2$ million ALEKS learning interactions for investigating time-on-task, complemented by ALEKS PPL placement-assessment data for examining proctoring and learning outcomes, with a quasi-experimental design exploiting variation in tasks that are more susceptible to AI (text-based word problems) and less susceptible to AI (interactive graph-based problems). Learning time on AI-susceptible problems declines $2.8\%$ per quarter among college students after ChatGPT's release, cumulating to $26.9\%$ over eleven quarters; high-schoolers show $31.3\%$, middle-schoolers $9.0\%$, and Grade 5 students no detectable change. Among college students, the post-ChatGPT divergence vanishes entirely under proctoring, ruling out broad efficiency gains as the likely explanation. Logistic fixed-effects models on randomly assigned proctored retention items yield a $25\%$ cumulative decline in odds of correct response; the same estimator on non-proctored assessment produces a large opposite-signed increase -- inconsistent with any platform, cohort, or curriculum explanation. These results are among the first large-scale behavioral and outcome evidence that generative AI has altered how students study and the knowledge they build -- the population-level indicator of \emph{cognitive surrender}, with direct implications for educational research, assessment governance, and AI policy.

Переклад анотації не надається.

Оцінка за критеріями якості та релевантності

Новизна
8.0/10
Методологічна строгість
8.0/10
Інженерні контрзаходи
5.0/10
Виклик консенсусу
5.0/10
Тематична відповідність
8.0/10

Методологія та вибірка

Дослідження аналізує десятирічну панель (2015-2025) з 3,2 мільйона навчальних взаємодій ALEKS та 12,2 мільйона спостережень часу відповіді на оцінювання ALEKS PPL. Вибірка охоплює період від 5 класу до університетської алгебри. Методологія використовує квазіекспериментальний дизайн, порівнюючи типи завдань, що є «сприйнятливими до ШІ» (текстові) та «стійкими до ШІ» (графічні/інтерактивні), із застосуванням фальсифікаційних тестів у контрольованих та неконтрольованих умовах оцінювання.

Чому варто прочитати

Дослідження надає великомасштабні, лонгітюдні та поведінкові докази «когнітивної капітуляції» на справжній освітній платформі, пов'язуючи використання ШІ не лише зі спрощенням домашніх завдань, а й із вимірюваним зниженням стійкості студентських знань.

Головні твердження та перевірені цитати

Час навчання над математичними задачами, сприйнятливими до ШІ, значно скоротився серед студентів коледжів та учнів старшої школи після випуску ChatGPT.
Оригінал: “Learning time on AI-susceptible problems declines 2.8% per quarter among college students after ChatGPT’s release, cumulating to 26.9% over eleven quarters; high-schoolers show 31.3%, middleschoolers 9.0%”
Орієнтовний переклад: “Час навчання для завдань, вразливих до впливу ШІ, скорочується на 2,8% щокварталу серед студентів коледжів після випуску ChatGPT, сукупно складаючи 26,9% за одинадцять кварталів; у старшокласників цей показник становить 31,3%, у учнів середньої школи — 9,0%”* (машинний переклад) — 10.48550/arxiv.2605.21629, с. 1, абз. 21 (exact)
Зменшення залученості до роботи над «сприйнятливими до ШІ» задачами під час навчання асоціюється з кумулятивним зниженням результатів утримання знань під час контрольованих іспитів.
Оригінал: “Logistic fixed-effects models on randomly assigned proctored retention items yield a 25% cumulative decline in odds of correct response”
Орієнтовний переклад: “Логістичні моделі з фіксованими ефектами для випадково розподілених завдань на перевірку залишкових знань в умовах прокторингу показують сукупне зниження шансів на правильну відповідь на 25%”* (машинний переклад) — 10.48550/arxiv.2605.21629, с. 1, абз. 21 (exact)

Обмеження та особливості дослідження