Towards Scalable Measurement of Durable Skills
Автори: Amir Globerson, Amy Keeling, Anisha Choudhury, Anna Iurchenko, Aviad Segal, Avinatan Hassidim, Ayça Çakmakli, Ben Gomes, Benn Witt, Cathy Cheunga, Cristine Legare, Diana Akrong, Eliad Carmi, Elisabeth Bauer, Gal Elidan, Hadas Gelbart, Hairong Mu, Katherine Chou, Lev Borovoi, Nir Kerem, Niv Efron, Noa Kerrem Gilo, Preeti Singh, Rajvi Kapadia, Rena Levitt, Roni Rabin, Ronit Levavi Morad, Rotem Yulzary, Shashank Agarwal, Sophie Allweis, Tracey Lee-Joe, Tzvika Stein, Yael Bar Moshe, Yael Haramaty, Yaniv Carmel, Yishay Mor, Yoav Bar Sinai, Yoav Bergner, Yossi Matias, Yuri Lev
Видання / Джерело: arXiv (2026)
Керовані штучним інтелектом розмови дозволяють об'єднати природну командну взаємодію з надійним та об'єктивним оцінюванням м'яких навичок учнів.
Головне з роботи
- Фреймворк на основі ШІ підвищує обсяг спостережуваних доказів сформованості навичок під час природної взаємодії користувача з інтелектуальним агентом.
- Автоматизоване оцінювання демонструє високий рівень згоди з експертними висновками, поєднуючи переваги діалогових завдань та психометричної точності.
- Активне спрямування дискусії з боку ШІ виявилося ефективнішим для отримання даних про навички учнів, ніж прямі інструкції.
- Обмеження вибірки лише носіями англійської мови вказує на потребу в додатковій валідації для підтвердження результатів у більш різноманітних контекстах.
- Різниця в показниках для різних навичок свідчить про те, що деякі компетенції важче виміряти засобами відкритого діалогу через їхню специфічну природу.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
Durable skills, such as collaboration, creativity and critical thinking, are instrumental to success in the modern workforce. Yet, measuring these skills remains a persistent challenge. Moreover, because what is not measured is often not taught, these skills are often overlooked in mainstream educational curricula. Designing effective assessments for these skills necessitates balancing two often-conflicting requirements: ecological validity and psychometric rigor. On the one hand, the assessment environment should emulate natural real-world human interaction between humans. On the other hand, it should be scalable, controllable and reproducible. Here we argue that LLMs can be used to better capture both of these aims. Concretely, we develop a framework where the subject converses with AI teammates in a way that resembles human-human interaction for authenticity, while also offering the psychometric control required for informative and robust assessment. Importantly, the AI participants not only act as teammates but also, in an "Executive LLM" setup, steer the conversation towards eliciting a high density of observable evidence for skill proficiency. We complement this with an AI evaluator that can be used to measure skill proficiency in such interactions. We evaluate our assessment protocol based on transcripts of interactions of human participants with our AI framework, for multiple durable skills. For the skill of creativity, we further demonstrate the efficacy of an autorater for evaluating complex tasks performed by real students. Our analysis shows that the use of the Executive LLM significantly increases elicited evidence and that LLM-automated scoring of conversations largely agrees with that of expert annotators. This research demonstrates the utility of orchestrated LLMs approaches for measuring complex social and cognitive constructs in a scalable and controllable manner.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Надає масштабовану, психометрично обґрунтовану альтернативу традиційному неконтрольованому або неструктурованому оцінюванню.
- Демонструє корисність симульованих агентів (з використанням LLM) як пісочниці для розробки та валідації тестів.
- Ілюструє способи інтеграції педагогічних рубрик у «промпт» ШІ для досягнення вимірюваного збору доказів.
Методологія та вибірка
Дослідження проаналізувало 373 розмови за участю 188 людей (віком 18-25 років, рекрутованих через платформу Prolific, носії англійської мови зі США), які взаємодіяли зі штучними напарниками в системі 'Vantage'. Додаткові дані включали 100 симульованих розмов для кожного рівня навичок для оцінки відновлення даних та 180 студентських робіт для оцінки креативності. Використовувалися моделі Gemini 2.5 Pro та Gemini 3.
Чому варто прочитати
Ця робота пропонує конкретне інженерне рішення проблеми компромісу між «екологічною валідністю» та «психометричною строгістю» в оцінюванні. Вона демонструє, як генеративний ШІ може вийти за межі простого аналізу тексту і стати активним, адаптивним учасником процесу тестування, фактично створюючи міст між відкритими розмовними завданнями та надійним стандартизованим психометричним вимірюванням.
Головні твердження та перевірені цитати
Орієнтовний переклад: “Узгодженість між LLM та експертами-людьми була подібною до узгодженості між двома експертами.”* (машинний переклад) — 10.48550/arxiv.2609.15864, с. 8, абз. 7 (exact)
Обмеження та особливості дослідження
-
Нерепрезентативна вибірка:
виявлено
“Participants ages 18-25 were recruited via the Prolific platform. They were English native speakers based in the United States.” (с. 7)
- Мала вибірка: немає
- Основна оцінка була зосереджена на англомовних учасниках у США, що потенційно обмежує культурну генералізацію.
- Автоматизовані оцінки критичного мислення та креативності в контексті участі людей потребують подальшої перевірки на основі експертних еталонів.
- Дослідження припускає, що симульовані взаємодії з використанням LLM успішно моделюють поведінку людей без прямої перевірки відповідності цієї моделі когнітивним процесам людини.
- Узгодженість між оцінювачами-людьми, хоч і покращилася, залишилася в помірному діапазоні (Kappa 0,45-0,64), що свідчить про внутрішню складність кодування таких взаємодій.