Watching the watchers: bias and vulnerability in remote proctoring software
Автори: Ben Burgess, Avi Ginsberg, Edward W. Felten, Shaanan Cohney
Видання / Джерело: arXiv (2022)
Комерційні пакети віддаленого прокторингу не можуть зупинити компетентних порушників, водночас створюючи ризики нагляду та расово упереджені перевірки ідентичності для студентів.
Головне з роботи
- Захист від списування, такий як блокування віртуальних машин і процесів, легко обійти за допомогою стандартних налаштувань або перейменованих виконуваних файлів.
- Рушій розпізнавання облич Examplify (face-api.js) показав високий середній показник хибно-негативних збігів 11,47%, що створює ризик неправомірного блокування чесних учасників тестування.
- Точність верифікації обличчя суттєво погіршувалася при природному нахилі голови, зміні освітлення та серед расових груп, що ставило кандидатів із меншин у невигідне становище.
- Програмне забезпечення для прокторингу часто інсталює постійні фонові служби на рівні суперкористувача (root), які передають телеметрію та розширюють поверхню атак на пристрій після іспиту.
- Освітянам варто переорієнтуватися на формати оцінювання, які мінімізують стимули для списування, замість того, щоб покладатися на тендітний цифровий нагляд.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
Educators are rapidly switching to remote proctoring and examination software for their testing needs, both due to the COVID-19 pandemic and the expanding virtualization of the education sector. State boards are increasingly utilizing these software for high stakes legal and medical licensing exams. Three key concerns arise with the use of these complex software: exam integrity, exam procedural fairness, and exam-taker security and privacy. We conduct the first technical analysis of each of these concerns through a case study of four primary proctoring suites used in U.S. law school and state attorney licensing exams. We reverse engineer these proctoring suites and find that despite promises of high-security, all their anti-cheating measures can be trivially bypassed and can pose significant user security risks. We evaluate current facial recognition classifiers alongside the classifier used by Examplify, the legal exam proctoring suite with the largest market share, to ascertain their accuracy and determine whether faces with certain skin tones are more readily flagged for cheating. Finally, we offer recommendations to improve the integrity and fairness of the remotely proctored exam experience.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Виступає як фундаментальний емпіричний доказ щодо валідності непрокторених умов тестування порівняно з алгоритмічно проктореними в рамках концепцій валідності Кейна та Мессіка.
- Демонструє, що автоматизований моніторинг створює диференційовану складність, не пов'язану з конструктом, через демографічні показники раси завдяки підвищеній частоті помилкових звинувачень.
- Надає переконливий технічний аргумент на користь перепроєктування оцінювання (наприклад, автентичні оцінювання з відкритими ресурсами) замість технічних заходів проти списування за допомогою штучного інтелекту.
Методологія та вибірка
Static and dynamic reverse engineering using RADARE2 and Ghidra on the four major U.S. legal proctoring suites (Examplify, Exam4, Electronic Blue Book, ILG Exam360), surveying 180 law schools and all U.S. state bar associations. Algorithmic fairness and verification accuracy were benchmarked across four facial datasets: MORPH-II (14k subjects, 55k faces), Multi-PIE (750k images, 337 subjects), LFWA+ (6k subjects, 13k faces), and VGGFace2 (9k subjects, 3M images). Examplify's default model (face-api.js) was evaluated alongside four state-of-the-art baselines: FaceNet, VGG-Face, OpenFace, and ArcFace.
Чому варто прочитати
Ця робота пропонує остаточний технічний розбір комерційних систем прокторингу іспитів, демонструючи, що алгоритмічний нагляд не відповідає фундаментальним критеріям психометричної справедливості та створює хибне відчуття безпеки оцінювання.
Головні твердження та перевірені цитати
Орієнтовний переклад: “Ми здійснюємо зворотне проєктування цих прокторингових систем і виявляємо, що попри обіцянки високої безпеки, усі їхні заходи проти списування можна тривіально обійти, і вони можуть становити значні ризики для безпеки користувачів.”* (машинний переклад) — 10.48550/arxiv.2205.03009, с. 1, абз. 7 (exact)
Орієнтовний переклад: “У розділі 5.1 ми бачимо, що «face-api.js» був загалом доволі неточним із середнім показником FNMR на рівні 11,47%, якщо його оцінювати на наборах даних, які точно відображають зображення, з якими він працюватиме в середовищі тестування.”* (машинний переклад) — 10.48550/arxiv.2205.03009, с. 12, абз. 11 (exact)
Орієнтовний переклад: “Examplify інсталює системну службу з високими привілеями, яка постійно працює на комп'ютері, навіть якщо Examplify не відкрито.”* (машинний переклад) — 10.48550/arxiv.2205.03009, с. 8, абз. 5 (exact)
Обмеження та особливості дослідження
- Оцінювання було зосереджено виключно на двійкових файлах клієнтської частини; евристики виявлення списування на серверній стороні та процедури телеметричного аудиту не перевірялися.
- Оцінювання справедливості наборів даних спиралося на категорійні расові мітки, а не на детальні, об'єктивні класифікації відтінків шкіри.
- Тестування еталонних зображень використовувало архівні дослідницькі набори даних, а не потоки з живих веб-камер, записані під час активних умов складання важливих іспитів.
- підтримує Проведення онлайн-тестів без прокторингу демонструє вимірювані зміни балів порівняно з умовами тестування з прокторингом. «Teclehaimanot, E T A L. [36] performed a meta analysis of test scores recorded in proctored and unproctored environments, finding a 0.20 STD variation between the two sets.», с. 3, абз. 6
- підтримує Довіра студентів до інституційних мандатів суттєво знижує активний опір інвазивному програмному забезпеченню для прокторингу. «Balash, E T A L. [4] who find that trust in institutions substantially reduces the extent to which students are willing to object to remote proctoring.», с. 13, абз. 8
- [метод / концептуальний]: Постачальники засобів прокторингу покладаються на безпеку через обмеження на стороні клієнта, що порушує загальноприйняті принципи моделювання загроз проти зловмисників із фізичним адміністративним доступом.
- [метрика / емпіричний]: Оптимізація моделей для загальної точності приховує екстремальні відмінності між підгрупами в показниках хибно-негативних збігів, що безпосередньо ставить під загрозу припущення Кейна про процедурну справедливість.