Why AI Detection Fails for Academic Integrity
Автори: Jonathan A. Karr, Grigorii Khvatskii, Ting Hua, Nitesh V. Chawla
Видання / Джерело: arXiv (2026)
Політика академічної доброчесності, що спирається на комерційні детектори ШІ, ризикує покарати сумлінних студентів і водночас не виявити навмисне шахрайство.
Головне з роботи
- Комерційні детектори ШІ демонструють високий ризик хибнопозитивних результатів при легкому, легітимному редагуванні за допомогою ШІ.
- Програмне забезпечення для гуманізації робить синтетичний текст практично непомітним для сучасних комерційних детекторів.
- Частота маркування детектором суттєво залежить від академічної дисципліни: у гуманітарних науках ризик хибнопозитивних результатів вищий, ніж у STEM-дисциплінах.
- Оцінки детекторів слід розглядати лише як слабкий доказ, що потребує додаткового підтвердження процесу написання роботи.
- Розбіжність між покаранням за чесне редагування та пропуском зловмисного обходу створює системний парадокс у політиці доброчесності.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
Institutions use commercial AI detectors for academic integrity, yet detectors cannot distinguish AI editing from full LLM drafts and may treat both as misconduct. In a controlled study of published English abstracts (four domains; 2013 to 2015 vs. 2023 to 2025), we quantify this policy failure under proxy human/AI labels at tau=0.50. Light "refine abstract only" edits, a proxy for guideline-compliant AI assistance, are flagged at 38 to 80%. Unmodified 2023 to 2025 originals are flagged at 9 to 15%, with non-STEM rates far above STEM (p<0.001); elevated scores track long-token and Academic Word List density, not authorship intent alone. After Undetectable AI humanization, evasion is near-total: fewer than 4% of AI-labeled rewrites remain flagged (post-humanization detection rate <4%; FNR >96%). Honest AI-editing results in a higher sanction risk than humanizer-assisted evasion. Therefore, detector scores should not serve as standalone misconduct evidence.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Надає основу для вимірювання частоти помилок детекторів в освітньому контексті.
- Підкреслює ризики щодо валідності використання інструментів виявлення типу «чорна скринька» в оцінюванні високого рівня важливості.
- Пропонує відтворюваний метод оцінки впливу інструментів «гуманізації» на системи доброчесності.
Методологія та вибірка
Набір даних із 642 англомовних наукових анотацій (2013–2015 рр. та 2023–2025 рр.), вибірка з OpenAlex у сферах хімії, комп'ютерних наук, політології та теології. Протестовано детектори Pangram 3.2 та GPTZero, а також базову модель GPT-5 Nano у трьох умовах генеративного переписування та за допомогою інструменту гуманізації Undetectable AI v11.
Чому варто прочитати
Ця стаття надає критично важливі кількісні докази того, що комерційне виявлення ШІ структурно суперечить цілям академічної доброчесності, демонструючи парадокс, коли інструменти карають за легітимну допомогу, але легко долаються тактиками ухилення.
Головні твердження та перевірені цитати
Орієнтовний переклад: “Легке редагування (лише анотації) — проксі-показник допомоги ШІ, що відповідає рекомендаціям — позначається як таке в 38–80% випадків.”* (машинний переклад) — 10.48550/arxiv.2608.11256, с. 1, абз. 8 (exact)
Орієнтовний переклад: “Після гуманізації за допомогою Undetectable AI ухилення є майже повним: менш ніж 4% переписаних ШІ текстів залишаються позначеними.”* (машинний переклад) — 10.48550/arxiv.2608.11256, с. 1, абз. 8 (exact)
Орієнтовний переклад: “Підвищені показники корелюють із щільністю довгих лексем та лексики Academic Word List, а не лише з наміром автора.”* (машинний переклад) — 10.48550/arxiv.2608.11256, с. 1, абз. 8 (exact)
Обмеження та особливості дослідження
- Корпус обмежений англомовними науковими анотаціями, а не студентськими есе.
- Обґрунтованість базується на проксі-мітках, а не на верифікованій історії авторства.
- Оцінено обмежений вибір із двох комерційних детекторів та однієї конфігурації гуманізатора.
- Зв'язки між текстовими характеристиками є кореляційними і не встановлюють причинно-наслідкові механізми збоїв у виявленні.
- підтримує Комерційні детектори мають труднощі з розмежуванням тексту, створеного за допомогою ШІ, та тексту, згенерованого ШІ повністю. «Detectors do not separate fully AI-generated from AI-assisted prose in one score», с. 1, абз. 22
- підтримує Попередні дослідження підтверджують ненадійність детекторів та наявність хибнопозитивних результатів у наукових текстах. «Prior work has documented detector unreliability», с. 2, абз. 5
- [метрика / суперечність]: Заяви розробників про рівень хибнопозитивних результатів <1% суперечать спостереженням дослідження про 9–15% помилкових маркувань сучасних анотацій, написаних людьми.