Every Token Counts: Exact Likert-Scale Distributions for Measuring LLM Attitudes and Biases
Автори: Davood Wadi, Mohsen Ghodrat, Matthew Philp
Видання / Джерело: arXiv (2026)
Стандартні бенчмарки ШІ приховують латентні упередження, оскільки вони покладаються на шумну вибірку тексту замість аналітичних розподілів імовірностей відповідей моделі.
Головне з роботи
- Заміна текстової вибірки точними функціями маси ймовірності (PMF) усуває шум і робить оцінювання поведінки LLM детермінованим.
- Неструктуровані набори для оцінювання змішують головні ефекти та взаємодії, що призводить до неправильних висновків про упередженість моделей.
- Запропонований дистрибутивний дисперсійний аналіз (ANOVA) ізолює причинно-наслідкові ефекти, дозволяючи точно вимірювати упередженість щодо країни походження в LLM.
- Стандартні метрики невизначеності, такі як ентропія Шеннона, не підходять для шкал Лікерта; потрібна багатоваріантна метрика консенсусу для врахування порядкової відстані.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
As Large Language Models (LLMs) are increasingly deployed as autonomous agents, accurately evaluating their latent values and biases is critical. The NLP community typically evaluates models using large, unstructured benchmarks. While effective for general capabilities, these datasets fundamentally conflate causal mechanisms: even when an aggregate bias is detected, unstructured evaluations cannot disentangle whether it stems from baseline traits, contextual confounders, or complex interactions. To address this, we introduce an analytically exact framework for the controlled behavioral evaluation of LLMs. We bridge human psychometrics with LLM mechanics by resolving gaps in design, measurement, and analysis. First, we replace unstructured prompting with fully crossed factorial experiments to systematically isolate causal main and interaction effects. Second, we eliminate Monte Carlo text sampling noise by operating directly on exact, token-level Probability Mass Functions (PMFs). Third, we derive a multivariate ordinal consensus metric and a distributional ANOVA to process these PMFs analytically. We validate our framework with a case study on consumer ethnocentrism across five LLMs, demonstrating how our approach isolates systemic country-of-origin biases that aggregate benchmarks otherwise obscure.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Структура надає надійну методологію для вимірювання інфляції оцінок або упередженості в автоматизованих системах оцінювання, викликаних ШІ.
- Підхід із використанням точних PMF пропонує шаблон для оцінювання, «стійкого до ШІ», шляхом використання контрольованих елементів з високим консенсусом.
- Демонструє необхідність метрик, що враховують порядкові дані, при валідації інструментів оцінювання на базі LLM.
Методологія та вибірка
N=340 точних прогнозних розподілів на рівні елементів, отриманих від 5 моделей LLM (Llama 3.3 70B, Gemma 3 27B, Qwen3 Next 80B, Aya Expanse 32B, Ministral 14B), що виконують 5x4 повністю схрещений факторний план на основі 17-пунктової шкали етноцентричних тенденцій споживачів (CETSCALE).
Чому варто прочитати
Ця робота надає сувору, математично обґрунтовану альтернативу панівній парадигмі "бенчмарків першого рівня", пропонуючи освітянам та дослідникам оцінювання офіційний інструментарій для забезпечення валідності конструкту при використанні LLM для психометричного оцінювання.
Головні твердження та перевірені цитати
Орієнтовний переклад: “Еталонний набір даних змішує ці окремі причинно-наслідкові механізми.”* (машинний переклад) — 10.48550/arxiv.2608.10503, с. 1, абз. 11 (exact)
Обмеження та особливості дослідження
- Дослідження фокусується виключно на конструкті етноцентризму споживачів.
- Експерименти обмежені лише англійською мовою.
- Структура вимагає доступу до логарифмічних ймовірностей і не застосовна до "чорних скриньок".
- Оцінювання є знімком стану і може не узагальнюватися для майбутніх оновлень ваг моделі.
- підтримує Стандартні метрики невизначеності, такі як ентропія Шеннона, не працюють зі шкалами Лікерта. «Standard metrics like entropy fail when applied to behavioral evaluation using psychometric rating scales. This is because entropy treats all tokens as unordered, categorical variables, ignoring the ordinality of a Likert scale.», с. 3, абз. 4
- [метод / Валідність вимірювання]: Стандартне оцінювання NLP змішує причинно-наслідкові механізми, розглядаючи моделі як генератори «чорної скриньки», а не як фіксовані розподіли ймовірностей.