Explainable AI Isn't Enough! Rethinking Algorithmic Contestability
Автори: Timo Freiesleben, Kristof Meding, Gunnar König
Видання / Джерело: arXiv (2026)
Стандартні пояснення ШІ лише вказують на те, що помилка десь поруч, не надаючи доказів, необхідних для фактичного скасування несправедливого рішення алгоритму.
Головне з роботи
- Алгоритмічна оспорюваність відрізняється від звернення, оскільки має на меті скасування рішень, що вважаються неправильними, а не зміну вхідних параметрів для відповідності вимогам моделі.
- Поширені методи XAI, такі як LIME, Anchors та контрфактуали, лише вказують на наявність помилок моделі поблизу спостереження, що недостатньо для перегляду індивідуального рішення.
- Три форми доказів — предиктивна множинність, невірні значення ознак та докази скасування — забезпечують законну нормативну базу для виклику алгоритмічних результатів.
- Європейський GDPR, ймовірно, вже надає особам юридичні права на доступ до конкретних типів доказів, необхідних для ефективного оспорювання.
- Реальні змагальні умови між особами, що приймають рішення, та індивідами ускладнюють впровадження цієї системи оспорюваності.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
Machine learning systems increasingly make life-changing decisions about individuals, such as loan approvals, hiring, and cheating detection, raising a pressing question: how can individuals respond to negative decisions made by these opaque systems? While explainable artificial intelligence (XAI) has largely focused on algorithmic recourse -- helping individuals change their features to obtain a desired outcome -- the parallel problem of algorithmic contestability -- helping individuals review and correct erroneous algorithmic decisions -- has received far less attention, despite its central ethical and legal importance. We trace this neglect to the absence of clear formal definitions and a systematic operationalization of contestability as an algorithmic problem. To address it, we propose an operational definition of contestability as a natural complement to recourse: contestability starts from the presumption that a decision may be incorrect and focuses on identifying evidence to challenge and potentially overturn it, whereas recourse assumes the decision is valid and instead provides pathways for changing it. We show that standard XAI explanations, such as counterfactuals, LIME, or Anchors, even when combined with human intuitions about decision continuity or monotonicity, reveal only errors in the neighborhood of the individual, but provide insufficient grounds for overturning the decision at hand. Going thus beyond traditional XAI, we identify three types of evidence warranting reversal according to the decision maker's own ethical standards: predictive multiplicity, incorrect feature values, and neglected overruling evidence. We argue that these render decisions normatively indefensible and thus successfully contestable. Finally, we analyze how existing EU legislation connects to our framework and argue that individuals already hold some legal rights to these forms of evidence.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Надає формальну, нормативну основу для процесів апеляції студентів щодо оцінок, виставлених ШІ.
- Пропонує строгий спосіб мислення про 'епістемічну оспорюваність' у системах виявлення академічного шахрайства.
- Поєднує формальну теорію прийняття рішень з правовими рамками, актуальними для використання ШІ в освітніх інституціях.
Методологія та вибірка
Розробка теоретичної бази. Стаття використовує набір даних 'South German Credit' для ілюстрації обмежень XAI. Емпіричні дослідження за участю людей або еталонні тести навчання моделей ШІ для оцінювання не проводилися.
Чому варто прочитати
Стаття пропонує фундаментальну, сувору основу для переходу від фази 'пояснення' прозорості ШІ до фази 'оскарження', що є критично важливим для майбутнього справедливого та стійкого академічного оцінювання.
Головні твердження та перевірені цитати
Орієнтовний переклад: “вони не дають достатніх підстав для скасування рішення”* (машинний переклад) — 10.48550/arxiv.2605.16041, с. 2, абз. 2 (exact)
Орієнтовний переклад: “прогностична множинність пропонує принциповий шлях до встановлення епістемічної оспорюваності”* (машинний переклад) — 10.48550/arxiv.2605.16041, с. 7, абз. 12 (exact)
Орієнтовний переклад: “менша або рівна кількість нормативно неправильних рішень приймається, коли береться до уваги додатковий доказ”* (машинний переклад) — 10.48550/arxiv.2605.16041, с. 9, абз. 2 (exact)
Обмеження та особливості дослідження
-
Немає змагального тестування:
виявлено
“Many real-world settings, however, are adversarial, and the interests of individuals and decision makers are not aligned” (с. 10)
- Нерепрезентативна вибірка: не згадано в тексті
- Статті бракує емпіричної перевірки на реальних наборах даних, вона зосереджена на формальних визначеннях та філософському обґрунтуванні.
- Запропонована база передбачає незмагальні умови між особою, що приймає рішення, та індивідом, що може не виконуватися у багатьох критичних сферах оцінювання.
- Практичне впровадження предиктивної множинності та доказів скасування стикається зі значними технічними та майновими бар'єрами для організацій.
- Аналіз не охоплює повний спектр людської інтуїції або альтернативні методи XAI поза обраним підмножиною.
- підтримує Алгоритмічна оспорюваність залишається порівняно малодослідженою у технічній літературі. «it is widely agreed that algorithmic contestability remains under-researched, especially from a technical perspective», с. 2, абз. 3
- підтримує Поширені методи XAI недостатні для обґрунтування скасування індивідуальних алгоритмічних рішень. «they do not provide sufficient grounds to overturn a decision», с. 2, абз. 2
- [метод / теоретичне проти емпіричного]: Стаття визначає сильну теоретичну потребу в оспорюваності, але визнає, що запропоновані типи доказів (наприклад, предиктивна множинність) часто важко реалізувати для пропрієтарних моделей.