Algorithmic drift in generative adaptive learning
Автори: Firuz Kamalov, Hana Sulieman, Ahmed El Sayed, Sivaraj R., Nitesh Sughnani
Видання / Джерело: arXiv (2026)
Незначні упередження в оцінюванні адаптивними ІТ-репетиторами накопичуються з часом, замикаючи лінгвістично різноманітних учнів у корекційних циклах.
Головне з роботи
- Асиметричні хибнонегативні помилки оцінювання в мовних моделях створюють самопідсилювані цикли, які систематично знижують складність навчальної програми для уражених демографічних груп.
- Математичне моделювання доводить, що політики адаптивного навчання, націлені на фіксовані показники успішності, демонструють біфуркацію, яка призводить до геометричного затухання здібностей вище критичного порогового значення шуму.
- Стандартні базові показники дослідження на основі підкріплення, такі як епсилон-жадібний алгоритм та вибірка Томпсона, не можуть ліквідувати отриманий демографічний розрив у досягненнях.
- Періодичні діагностичні проби в поєднанні з храповиками спроможностей ефективно запобігають довгостроковому розсуву траєкторій у симульованих середовищах адаптивного навчання.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
Generative artificial intelligence promises to democratize personalized tutoring, yet the longitudinal stability of adaptive systems remains under-theorized. Current ethical discourse focuses on static bias. This paper argues that a distinct threat lies in algorithmic drift: a feedback loop in which minor, demographically asymmetric observation errors compound over time into systemic inequities. We make three contributions. First, we formalize algorithmic drift as a coupled learner--tutor dynamical system. Second, we corroborate this theory with an agent-based Monte Carlo simulation in which either a transparent online tracker or an LSTM deep-knowledge-tracing network drives an IRT-based curriculum policy. Third, we introduce the temporal fairness stabilizer (TFS), a targeted intervention that periodically re-probes learner capability, and benchmark it against standard exploration baselines with explicit group-fairness metrics and replication-level inference. Within the modeled environment, TFS closes the achievement gap where generic exploration does not, and we characterize the conditions under which it succeeds. We separate what is established analytically, what is demonstrated in simulation, and what remains to be validated with real learners. Our results reframe algorithmic fairness in education as a temporal property of a closed loop rather than a deployment-time checkbox.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Надає формальну математичну структуру та симуляційне тестове середовище для вивчення дрейфу параметрів завдань і спотворення латентних здібностей за каналів автоматизованого оцінювання ШІ.
- Демонструє загрозу в часі для диференційного упередження оцінювачів, коли базові LLM інтегруються безпосередньо в комп'ютеризоване адаптивне тестування та цикли відстеження знань.
- Пропонує явний алгоритмічний контрзахід (стабілізатор темпоральної справедливості), який психометрики можуть адаптувати для запобігання самопідсилюваним циклам корекційного зворотного зв'язку.
Методологія та вибірка
Формулювання теоретичних динамічних систем у поєднанні з агентно-орієнтованим моделюванням Монте-Карло для N=10 000 синтетичних агентів-учнів протягом 100 часових кроків та 50 незалежних реплікацій на кожну умову. Синтетичні учні були розділені на 80% референтну групу та 20% захищену групу з ідентичними вихідними розподілами здібностей. Протестовані оцінювачі включали онлайн-трекер Раша максимальної правдоподібності та мережу LSTM для глибокого відстеження знань (прихований розмір 200). Шум спостереження був емпірично відкалібрований за допомогою банку парних збігів із 40 правильних і 20 неправильних відповідей з фізики/природничих наук у трьох відкритих моделях: Qwen2.5-7B-Instruct, Phi-4-mini-instruct та Mistral-7B-Instruct-v0.3. Базові лінії включали нескомпенсований контроль, епсилон-жадібний алгоритм, UCB та вибірку Томпсона.
Чому варто прочитати
Ця робота об'єднує психометріку, динамічні системи та генеративний штучний інтелект, доводячи, що алгоритмічна справедливість в адаптивному навчанні не може розглядатися як статична перевірка розгортання. Вона формалізує те, як послідовний вибір завдань із замкненим контуром підсилює незначні помилки автоматизованого оцінювання в кумулятивну освітню нерівність, надаючи як теоретичні докази, так і інженерну протидію.
Головні твердження та перевірені цитати
Орієнтовний переклад: “У спрощеній моделі середнього поля ми доводимо, що адаптивна політика, яка націлена на фіксований показник успішності, демонструє біфуркацію за асиметричного каналу хибнонегативних результатів.”* (машинний переклад) — 10.48550/arxiv.2610.31041, с. 1, абз. 6 (exact)
Орієнтовний переклад: “У змодельованому середовищі TFS скорочує розрив у досягненнях там, де загальне дослідження цього не робить, і ми характеризуємо умови, за яких вона досягає успіху.”* (машинний переклад) — 10.48550/arxiv.2610.31041, с. 1, абз. 6 (exact)
Обмеження та особливості дослідження
- Немає змагального тестування: не згадано в тексті
- Емпірична оцінка оцінювання спиралася на невеликий банк елементів із 40 пар, створений авторами, а не на реальні відповіді учнів у різноманітних природних умовах.
- Лонгітюдну динаміку було оцінено на синтетичних агентах-учнях зі спрощеними оновленнями теорії відповідності завдань, а не в ході реального впровадження в класах за участі людей.
- Симуляція припускала некаральні діагностичні проби, тоді як реальні учні можуть відчувати емоційне розчарування або втрату інтересу через несподівано складні завдання.
- [метод / концептуальна]: Стандартний психометричний аудит справедливості (наприклад, диференційне функціонування завдань) оцінює статичні тестові інструменти, тоді як ця робота оцінює динамічний зворотний зв'язок із замкненим контуром між оцінюванням IRT та генеративною адаптацією навчальної програми.