Towards Scalable Measurement of Durable Skills
Amir Globerson, Amy Keeling, Anisha Choudhury, Anna Iurchenko, Aviad Segal, Avinatan Hassidim, Ayça Çakmakli, Ben Gomes, Benn Witt, Cathy Cheunga, Cristine Legare, Diana Akrong, Eliad Carmi, Elisabeth Bauer, Gal Elidan, Hadas Gelbart, Hairong Mu, Katherine Chou, Lev Borovoi, Nir Kerem, Niv Efron, Noa Kerrem Gilo, Preeti Singh, Rajvi Kapadia, Rena Levitt, Roni Rabin, Ronit Levavi Morad, Rotem Yulzary, Shashank Agarwal, Sophie Allweis, Tracey Lee-Joe, Tzvika Stein, Yael Bar Moshe, Yael Haramaty, Yaniv Carmel, Yishay Mor, Yoav Bar Sinai, Yoav Bergner, Yossi Matias, Yuri Lev · arXiv (2026) · doi:10.48550/arxiv.2609.15864 · gemini-3.1-flash-lite
Суть роботи
Вимірювати м'які навички, такі як співпраця та креативність, складно, оскільки потрібно збалансувати реалістичність групової взаємодії з вимогами до оцінювання ефективності. Дослідники створили систему, де ШІ-колеги активно скеровують розмови, спонукаючи користувачів демонструвати навички під час природного спілкування. Вони виявили, що цей метод ефективно фіксує достатню кількість поведінкових проявів, що дозволяє ШІ оцінювати результати з точністю, зіставною з оцінками експертів-людей.
Метод і вибірка: Дослідження проаналізувало 373 розмови за участю 188 людей (віком 18-25 років, рекрутованих через платформу Prolific, носії англійської мови зі США), які взаємодіяли зі штучними напарниками в системі 'Vantage'. Додаткові дані включали 100 симульованих розмов для кожного рівня навичок для оцінки відновлення даних та 180 студентських робіт для оцінки креативності. Використовувалися моделі Gemini 2.5 Pro та Gemini 3.
#Психометрія#Генеративний ШІ#Проєктування оцінювання#Стійкі навички#Оцінювання співпраці#Автоматизоване оцінювання