Leveraging Measurement Theory for Natural Language Processing Research
Qixiang Fang · Utrecht University Repository (Utrecht University) (2024) · doi:10.33540/473 · gemini-3.6-flash
Суть роботи
Стандартні тести, які використовуються для оцінювання моделей штучного інтелекту, часто вважають усі питання однаково складними та ігнорують похибку вимірювання. Застосовуючи встановлені методи вимірювання в освіті, це дослідження показує, як правильно тестувати математичні та когнітивні навички моделей ШІ. Висновки свідчать про те, що звичайні методи оцінювання можуть неправильно ранжувати моделі ШІ порівняно з учнями-людьми.
Метод і вибірка: Дисертація охоплює кілька емпіричних досліджень: розділ 3 оцінює надійність мір гендерного упередження в ембеддінгах Word2Vec і GloVe; розділ 4 оцінює валідність конструктів за допомогою синтетичного набору даних опитувальних запитань; розділ 5 проводить бенчмаркінг когнітивних здібностей ЛМ (включно із сімейством GPT та відкритими моделями) з математики для 8-го класу з використанням стандартизованих наборів даних TIMSS (цикли 2008 та 2011 років), оцінених за допомогою моделей латентних змінних теорії тестування пунктів (IRT) порівняно з популяціями учнів-людей.
#Теорія тестування пунктів#Бенчмаркінг ЛМ#Валідність конструктів#Теорія вимірювань#Психометрика#Текстові ембеддінги