Item Response Theory for AI Safety
Автори: Joshua Fonseca Rivera, Neil Shah, David Demitri Africa, Konstantinos Voudouris
Видання / Джерело: arXiv (2026)
Вимірювання безпеки ШІ — це лабіринт, де заплутані тести коштують дорого, але дають мало чіткості; психометрія може змінити ці правила гри.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
Language models differ in how safely they behave and these differences are measured by safety benchmarks. But aggregated benchmark scores are hard to trust and interpret, because benchmarks duplicate one another, correlate heavily, and models may sandbag when they detect evaluation. To address these issues, we draw on Item Response Theory (IRT), a statistical toolkit for measuring these latents from performance on items with inferred psychometric properties. We fit IRT models to eight safety benchmarks across 192 language models, the largest psychometric analysis of LLM safety evaluations to date, and contribute three results. First, we find that three interpretable factors of refusal strictness, truthfulness, and contextual harm explain most of the variance between models across benchmarks. Second, psychometrically selected items recover full benchmark scores with lower error than random subsets of the same size, and roughly ten adaptively chosen items suffice for several individual benchmarks, cutting evaluation cost by 97-99%. Third, IRT supports audits of individual models, showing that it can be used to detect naive sandbagging and changes of model behind APIs. Overall, we show IRT is a ready-made toolkit for reading, reducing, and auditing safety benchmarks, which we recommend frontier labs and evaluators adopt.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Надає кількісну структуру для аналізу дрейфу завдань та оцінювачів.
- Пропонує чітку методологію використання IRT для підтримки валідності оцінювання попри використання ШІ.
- Демонструє ефективність адаптивного тестування (CAT) для підтримки точності оцінки при значно меншій кількості завдань.
Методологія та вибірка
Набір даних: вісім бенчмарків безпеки (5 067 пунктів після обробки). Група моделей: 192 чат-моделі, включаючи 169 моделей для перехресного аналізу бенчмарків та 134 моделі для аналізу латентної структури. База: стандартні оцінки бенчмарків, випадкова вибірка завдань.
Чому варто прочитати
Ця стаття суворо застосовує принципи психометричної валідності до бенчмарків безпеки ШІ, надаючи шаблон того, як розробники можуть проектувати більш стійкі та ефективні протоколи оцінювання в умовах розвитку генеративного ШІ.
Головні твердження та перевірені цитати
Орієнтовний переклад: “Приблизно десять адаптивно вибраних завдань відновлюють кілька індивідуальних бенчмарків, знижуючи їхню вартість оцінювання на 97–99%.”* (машинний переклад) — 10.48550/arxiv.2608.05086, с. 1, абз. 13 (exact)
Обмеження та особливості дослідження
-
Мала вибірка:
виявлено
“This is, to our knowledge, the largest psychometric analysis of LLM safety benchmarks to date.” (с. 1)
- Розмір групи (134–169 моделей) невеликий у порівнянні з традиційними психометричними наборами даних за участю людей.
- Латентні здібності визначаються через емпіричні патерни навантажень, а не через підтверджену теорію конструктів.
- Виявлення приховування (sandbagging) оцінюється на моделях, що отримали відповідні інструкції, а не обов'язково на складних, зловмисно налаштованих системах.
- why_worth_reading
- Ця стаття суворо застосовує принципи психометричної валідності до бенчмарків безпеки ШІ, надаючи шаблон того, як розробники можуть проектувати більш стійкі та ефективні протоколи оцінювання в умовах розвитку генеративного ШІ.
- unexpected_findings
- Деякі бенчмарки безпеки мають сильну негативну кореляцію (наприклад, AHB та TruthfulQA), що свідчить про те, що покращення за однією метрикою безпеки може неминуче погіршити продуктивність за іншою.
- supports_or_contradicts
- from_text_or_graph
- statement
- Оцінювання безпеки часто є надлишковим і чутливим до вибору системи підрахунку балів.
- relation
- supports
- quote
- Prior work has shown that safety evaluations can be redundant, sensitive to scoring choices, and shaped by tradeoffs between refusing harmful requests and answering benign ones
- page
- para
- verify_class
- exact
- підтримує Оцінювання безпеки часто є надлишковим і чутливим до методу підрахунку балів. «Prior work has shown that safety evaluations can be redundant, sensitive to scoring choices, and shaped by tradeoffs between refusing harmful requests and answering benign ones», с. 2, абз. 5