Does AI Assistance Leave a Temporal Fingerprint? Detecting Overreliance in AI-Assisted Writing and Programming
Автори: Eduardo Davalos, Yike Zhang
Видання / Джерело: arXiv (2026)
Тотальна делегація завдань ШІ залишає чіткий часовий відбиток у логах, проте справжнє співробітництво з ШІ практично неможливо відрізнити від людської праці.
Головне з роботи
- Часовий аналіз виявляє характерні сплески продуктивності, які дозволяють чітко відрізнити повне делегування завдань ШІ від спільної роботи людини з технологією.
- Точність виявлення залишається високою для змодельованих умов, проте поточні висновки ґрунтуються на лабораторних даних, а не на реальних сценаріях навчання студентів.
- Схильність зберігати згенерований контент суттєво різниться між письмовими текстами та програмуванням, що вказує на потребу оцінювати ризики академічної доброчесності з урахуванням специфіки дисципліни.
- Аналіз логів клавіатури може стати конфіденційним інструментом для ініціювання діалогу з учнями, замість того, щоб використовуватися як остаточний доказ порушень.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
The rapid adoption of generative AI has made final artifacts unreliable evidence of student learning, and AI detectors that examine only the finished product are inaccurate and ethically contentious. Process data offers an alternative, but prior work covers only English essay writing. We ask whether AI assistance carries a temporal signature, whether it generalizes from writing to programming, and whether it distinguishes ordinary collaboration from wholesale delegation. We analyze three public corpora: CoAuthor (1,447 keystroke-level co-writing sessions), RealHumanEval (editor telemetry from 243 programmer records), and a pre-LLM CS1 corpus (5.1 million keystrokes) as a human-only baseline, comparing minimal-AI work, collaborative AI use, and simulated wholesale delegation. Three findings emerge. First, the signature generalizes: AI contributions arrive in bursts far outside the author's own baseline in both mediums (paired d_z = 1.13 and 3.54). Second, engagement diverges by medium: 93% of AI-inserted characters survived to writers' final documents, while only 14% of accepted code suggestions survived intact. Third, classifiers using only observable temporal features separate simulated delegation from authentic work nearly perfectly (F1 $\geq$ 0.997; at most 0.5% of real work misclassified), while ordinary collaboration remains hard to distinguish from unassisted work. Temporal evidence flags wholesale delegation rather than assistance, positioning process visibility as a candidate evidentiary basis for academic integrity, pending validation in authentic coursework.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Надає методологію моделювання залученості студентів через телеметрію процесу.
- Демонструє, як відрізнити легітимне «співробітницьке» використання LLM від «делегації» при оцінюванні.
- Пропонує рамку для «видимості процесу», яка узгоджується з аргументами щодо валідності, зосередженими на індикаторах успішності студентів.
Методологія та вибірка
Дослідження проаналізувало три відкриті корпуси даних: CoAuthor (1447 сесій 63 авторів), RealHumanEval (243 записи програмістів, з яких 45 використано для парного аналізу) та зовнішній базовий набір даних натискань клавіш CS1 (5,1 млн натискань, N=487). Дослідники порівняли їх із симульованим станом повної делегації, що включав 400 сесій письма та 150 записів програмування.
Чому варто прочитати
Ця робота надає рідкісний крос-доменний кількісний аналіз часових відбитків у роботі з ШІ, встановлюючи суворе психометричне розрізнення між «співпрацею» та «повною делегацією», що може перевизначити політику академічної доброчесності.
Головні твердження та перевірені цитати
Орієнтовний переклад: “Внески ШІ надходять сплесками, що значно виходять за межі власного базового рівня автора в обох середовищах (парний dz = 1.13 та 3.54).”* (машинний переклад) — 10.48550/arxiv.2609.17883, с. 1, абз. 8 (exact)
Орієнтовний переклад: “класифікатори, що використовують лише спостережувані часові ознаки, майже ідеально розмежовують імітоване делегування та автентичну роботу”* (машинний переклад) — 10.48550/arxiv.2609.17883, с. 1, абз. 8 (exact)
Обмеження та особливості дослідження
- Умова делегації є симульованою, а не спостережуваною в реальних умовах.
- Часові ознаки можуть бути обійдені шляхом імітації пауз при передруку або атак на підробку таймінгу.
- Відсутні дані про результати, що прямо пов'язують виявлені поведінкові патерни зі шкодою для навчання.
- Обмеження набору даних включають обмеження пропозицій ШІ у 30 токенів у CoAuthor та невелику кількість парних записів програмування.
- [метод / обмеження симуляції]: Автори визнають, що симульована «повна делегація» створює категоріальний підпис, який є структурно чітким, що потенційно може завищувати результати детекції у реальних, зашумлених середовищах.