quasi_experiment

When the Scaffold Stays On: AI, Practice Style, and Screening in Elite Skill Formation

Автори: Song Yao
Видання / Джерело: arXiv (2026)

Чи є штучний інтелект «милицею» для учня, чи потужним інструментом для прискорення навчання — відповідь залежить не лише від інструменту, а й від того, як ви тестуєте прогрес.

Суть дослідження (TL;DR)

Стиль викладу

Генеративний ШІ можна використовувати або для заміни навчання, або для його прискорення, і ці два підходи важко розрізнити в повсякденній практиці. Дослідження показує, що у відкритому онлайн-програмуванні поведінка, схожа на використання ШІ, часто сигналізує про деградацію навичок, але серед учасників вищого рівня, які пройшли суворі випробування без ШІ, така ж поведінка фактично прогнозує вищу результативність. Це означає, що проектування оцінювань, які перевіряють навички без допомоги ШІ, може ефективно виявляти та заохочувати студентів, які використовують ШІ як корисний інструмент, а не як замінник розумової праці.

Це дослідження аналізує формування навичок у спортивному програмуванні, порівнюючи практику та результати змагань у середовищах із забороною ШІ та у відкритих середовищах. Дослідники виявили, що хоча патерни практики, характерні для використання ШІ, з'явилися в усіх когортах, вони прогнозують зниження навичок лише серед невідфільтрованих користувачів у загальній групі. Натомість у середовищах, де використання ШІ заборонено, перехід до такого ж стилю практики послідовно вказує на вищу результативність, що свідчить про доповнювальне використання ШІ серед підготовлених фахівців.

Анотація авторів (оригінал)

Generative AI raises short-term productivity by completing tasks learners would otherwise practice on their own. Whether this exchange erodes frontier skill depends on the mode of use: substitute-users let AI stand in for practice and fail to develop skills, while complement-users use AI to learn faster. The modes look alike in AI-aided output, so organizations screening on that output cannot tell them apart. We ask whether the AI-prohibited evaluation gates organizations already operate can separate the modes. In elite competitive programming, ICPC and IOI contests prohibit AI under in-person proctoring, with qualification-round entry, whereas Codeforces (CF) practice and contests are unproctored and open to all. From CF practice histories we build an AI-prompt signature consistent with AI usage, more first-attempt acceptances, fewer attempts and debugging retries. CF practice has shifted toward this signature across entry cohorts spanning two AI rollouts. On CF, a stronger signature predicts smaller rating gains for users with no ICPC-IOI affiliation, but not for those who qualified. Inside the AI-prohibited ICPC environment, AI-era entrants show no skill erosion, and shifts toward AI-style practice predict higher non-AI-aided scores. One screening mechanism fits both: where the modes mix, a stronger signature flags substitute-users; among those who qualified, a strengthening signature marks adoption of the complement mode. The message is constructive: AI-style practice is compatible with frontier skill; the erosion risk links to the substitute mode; and separating the modes is a design question for the exams organizations regularly administer, from medical and legal boards to professional certification.

Переклад анотації не надається.

Оцінка за критеріями якості та релевантності

Новизна
8.0/10
Методологічна строгість
8.0/10
Інженерні контрзаходи
5.0/10
Виклик консенсусу
5.0/10
Тематична відповідність
8.0/10

Тематична релевантність для освітян

  • Надає основу для розрізнення заміщення та взаємодоповнюваності в навчальних технологіях.
  • Демонструє ефективність кваліфікаційних бар'єрів із забороною ШІ як механізму перевірки навичок.
  • Пропонує кількісну методологію для виявлення змін у стилях практики («сигнатура ШІ-підказки») з використанням даних платформи.

Методологія та вибірка

Вибірка включає 10 419 користувачів Codeforces (CF), за якими спостерігали з 2018 по 2026 рік. Ця популяція розділена на реєстрову субпопуляцію (2 480 користувачів), пов'язану із записами змагань ICPC/IOI, де використання ШІ заборонено, та нереєстрове розширення з 7 939 користувачів. Моделі включають метод «різниця в різницях» для оцінки сигнатур практики та регресії продуктивності між субпопуляціями.

Чому варто прочитати

Ця робота надає рідкісні багаторічні емпіричні докази того, як інтеграція ШІ впливає на формування людського капіталу в довгостроковій перспективі. Вона демонструє, що вплив ШІ на навчання залежить від середовища оцінювання, пропонуючи конкретну модель того, як педагоги можуть підтримувати валідність оцінювання, змушуючи прибирати «риштування» ШІ під час важливих сертифікаційних іспитів.

Головні твердження та перевірені цитати

Використання ШІ під час навчання можна класифікувати на режими заміщення та доповнення, які по-різному впливають на формування навичок.
Оригінал: “Whether this exchange erodes frontier skill depends on the mode of use: substitute-users let AI stand in for practice and fail to develop skills, while complement-users use AI to learn faster.”
Орієнтовний переклад: “Чи призводить цей обмін до розмивання передових навичок, залежить від способу використання: користувачі-субститути дозволяють ШІ заміщувати практику й не розвивають навичок, тоді як користувачі-комплементи використовують ШІ, щоб вчитися швидше.”* (машинний переклад) — 10.48550/arxiv.2606.06253, с. 1, абз. 3 (exact)
Кваліфікаційні бар'єри із забороною ШІ можуть ефективно відсіювати користувачів, що використовують ШІ як замінник.
Оригінал: “Once the gate has screened substitute-users out, the remaining AI-style practice tracks complement use.”
Орієнтовний переклад: “Після того, як бар'єр відсіяв користувачів-субститутів, решта практики в стилі ШІ відповідає комплементарному використанню.”* (машинний переклад) — 10.48550/arxiv.2606.06253, с. 4, абз. 28 (exact)

Обмеження та особливості дослідження

  • Сигнатура «ШІ-підказки» є проксі-показником, заснованим на поведінкових патернах, і не є прямим, підтвердженим вимірюванням використання інструментів ШІ.
  • Міжкогортний зсув у практиці є описовим і не демонструє чіткої відповідності часу випуску інструментів ШІ.
  • Аналіз реєстрових та нереєстрових популяцій спирається на участь у змаганнях як проксі-показник статусу відбору, що може не враховувати всі ефекти селекції.
Висновок моделі (прогалини та суперечності)
  • [метод / Вимірювання]: Дослідження спирається на поведінкові проксі-дані щодо використання ШІ, а не на прямий доступ або журнали взаємодії, що обмежує причинно-наслідкову силу інтерпретації режиму практики.