psychometric_modeling

Extending Item Response Theory for Efficient and Meaningful Multilingual Evaluation

Автори: Gili Lior, Tzviel Frostig, Gabriel Stanovsky, Matan Eyal
Видання / Джерело: arXiv (2026)

Декомпозиція психометричної складності та дискримінативності між мовами виявляє недоліки перекладу та культурні упередження, які зазвичай приховують необроблені тестові бали.

Головне з роботи

Multilingual-IRT дозволяє залишати до 60% багатомовних тестових завдань неспостережуваними з незначними втратами в оцінці здібностей та прогнозуванні балів.
Мовно-специфічні відхилення складності рівномірно розподіляють виявлення помилок перекладу по всіх мовах, тоді як метрики на основі точності надмірно концентруються на кількох малоресурсних мовах.
Відокремлення мовної дискримінативності від дискримінативності змісту дозволяє ідентифікувати культурно-специфічні питання, які є невидимими для відмінностей у сирих балах.
Вивчена матриця міжмовної кореляції самостійно відновлює кластери мовних сімей та градієнти ресурсів без будь-якого зовнішнього нагляду.

Суть дослідження (TL;DR)

Простими словами Словами дослідження

Оцінювання моделей штучного інтелекту на десятках перекладених тестів є дорогим і схильним до прихованих помилок перекладу та культурних упереджень. У цій статті розроблено вдосконалену модель тестування, яка відокремлює чисте володіння предметом від труднощів мови та перекладу. Метод точно прогнозує результати тестів за неповними даними та точно визначає помилкові переклади, які пропускають традиційні відсоткові оцінки.

Паралельні багатомовні бенчмарки великих мовних моделей страждають від високих витрат на оцінювання, не виявлених помилок автоматичного перекладу та змішаних культурних знань. Для вирішення цієї проблеми автори розробляють Multilingual-IRT, розширюючи теорію відповідей на завдання (IRT) за допомогою мовно-специфічних відхилень складності, розділеної дискримінативності вмісту проти мови та скорельованих залишкових здібностей для кожної мови. Оцінена на 25 моделях для 29 мов у MMLU-Pro-X, модель прогнозує пропущені екземпляри з на 11–16% нижчою бінарною крос-ентропією, ніж базові показники точності, ефективно виявляючи недоліки перекладу та культурно-специфічні завдання.

Анотація авторів (оригінал)

Multilingual benchmarks are central to evaluating large language models (LLMs) across languages, but they suffer from three issues: exhaustive evaluation scales linearly with the number of languages, automatic translation introduces errors that are easily missed at scale, and some items conflate general and culture-specific knowledge. We address all three with a unified statistical framework, Multilingual-IRT, which extends Item Response Theory with per-language difficulty deviations, split discriminability separating content from language effects, and per-language ability residuals. Fitting Multilingual-IRT on 25 LLMs across 29 languages of MMLU-Pro-X, we show that its fitted parameters support three practical applications: predicting unobserved (item, LLM, language) instances with 11-16% lower binary cross-entropy than the strongest accuracy-based baseline, surfacing candidate translation errors distributed across all 28 non-English languages, whereas accuracy-based baselines concentrate detections in a few languages, and recovering culture-specific items that accuracy-based baselines miss.

Переклад анотації не надається.

Оцінка за критеріями якості та релевантності

Новизна

8.0/10

Методологічна строгість

8.0/10

Інженерні контрзаходи

7.5/10

Виклик консенсусу

6.5/10

Тематична відповідність

7.0/10

Методологія та вибірка

25 instruction-tuned and reasoning open-source LLMs (2B to 122B parameters across Aya, Qwen3.5, OLMo-3, Gemma-3, Llama-3, Phi-4, GPT-OSS); MMLU-Pro-X benchmark comprising 11,759 multiple-choice items across 29 languages (~8.5 million item responses); fitted using stochastic variational inference (SVI) in NumPyro; compared against parametric IRT ablations (Indep-IRT, Parallel-IRT, Coupled-IRT) and non-parametric accuracy baselines; validated via LLM-as-a-judge (Gemini-2.5-Flash, GPT-5.4 mini, Claude Haiku 4.5) and human expert annotations.

Чому варто прочитати

Стаття пропонує математично елегантну психометричну структуру для відокремлення здібностей до конструктів від лінгвістичних артефактів у паралельних оцінюваннях. Для дослідників оцінювання, які стикаються з генеративним штучним інтелектом, вона демонструє, як багатопараметричні формулювання IRT можуть кількісно визначати диференційне функціонування завдань, ізолювати нерелевантний до конструкту шум перекладу та перевіряти цілісність бенчмарка без необхідності вичерпного та дорогого оцінювання.

Головні твердження та перевірені цитати

Multilingual-IRT reaches near-maximal predictive accuracy from a small fraction of observed test instances.

Оригінал: “Multilingual-IRT reaches nearly its full predictive performance from a small fraction of observed instances.”
Орієнтовний переклад: “Multilingual-IRT досягає майже повної прогнозивної ефективності на основі невеликої частки спостережуваних екземплярів.”^{* (машинний переклад)} — 10.48550/arxiv.2606.15643, с. 5, абз. 20 (exact)

Sixty percent of (item, LLM, language) instances can be left unobserved with negligible loss in prediction quality.

Оригінал: “In practice, this means 60% of the instances can be left unseen with negligible loss in prediction quality.”
Орієнтовний переклад: “На практиці це означає, що 60% екземплярів можна залишити поза увагою з нехтовно малою втратою якості прогнозування.”^{* (машинний переклад)} — 10.48550/arxiv.2606.15643, с. 5, абз. 20 (exact)

The asymmetric formulation of Multilingual-IRT resolves rotational indeterminacy and is identifiable and reproducible across random seeds.

Оригінал: “Together these confirm that the Multilingual-IRT formulation we suggest is not just identifiable in principle but also reproducible in practice.”
Орієнтовний переклад: “Разом це підтверджує, що запропонована нами формулювання Multilingual-IRT є не лише ідентифікованою в принципі, але й відтворюваною на практиці.”^{* (машинний переклад)} — 10.48550/arxiv.2606.15643, с. 4, абз. 15 (exact)

Обмеження та особливості дослідження

Нерепрезентативна вибірка: не згадано в тексті
Лише одна мова: немає
Немає змагального тестування: не згадано в тексті
Єдиний детектор: не згадано в тексті

Вимагає вирівняних паралельних перекладів елементів між мовами, що унеможливлює застосування до незалежних, непаралельних багатомовних корпусів.
Точність оцінки мовно-специфічних відхилень складності (dil) та позадіагональних елементів коваріації обмежена оцінюванням лише 25 LLM.
Виявлення помилок і культурна валідація сильно залежать від проксі LLM-як-судді, хоча частково підтверджені людськими анотаторами.

Висновок моделі (прогалини та суперечності)

[визначення / недостатнє представлення конструкту]: Стандартні багатомовні оцінювання розглядають тестові завдання як уніфіковані в перекладах, ігноруючи спотворення конструкту, спричинене семантичним дрейфом, втратою перекладу або непередбачуваними мовними скороченнями.
[метрика / невідповідність метрик]: Метрики сирої точності не можуть відокремити складність завдання від мовних здібностей, надмірно відзначаючи помилки в малоресурсних мовах і пропускаючи тонкі недоліки перекладу та культурну специфіку в високоресурсних мовах.

#теорія відповідей на завдання #багатомовне оцінювання #диференційне функціонування завдань #валідність бенчмарка #виявлення помилок перекладу #LLM як учасники тестування #психометрія