A Dual-Dimensional LLM Framework for Automated Item Incidental Content Similarity Analysis in Large-Scale Assessments
Автори: Jing Huang, Jihong Zhang, Hua-Hua Chang
Видання / Джерело: arXiv (2026)
Автоматизований аналіз подібності тестових завдань за допомогою LLM забезпечує більш точний та психометрично узгоджений підхід до мінімізації конструктивно-нерелевантної надмірності в масштабних оцінюваннях, ніж традиційні методи текстового зіставлення.
Головне з роботи
- Модель успішно розрізняє структурні особливості завдань і глибшу семантичну спорідненість для виявлення випадкової надмірності контенту.
- Метрики подібності на основі LLM демонструють сильнішу кореляцію з психометрично визначеними локальними залежностями завдань порівняно з BLEU або косинусною подібністю.
- Інтеграція обмежень подібності на основі LLM у алгоритми вибору CAT покращує стабільність оцінок здібностей з мінімальними втратами в точності.
- Традиційні автоматизовані метрики подібності не можуть вловити багатовимірну природу випадкового контенту в освітніх завданнях, що зумовлює необхідність більш нюансованого підходу.
- Запропонований метод надає масштабовану автоматизовану альтернативу для кураторства банків завдань, зменшуючи ручне навантаження на експертів у предметній галузі.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
The rapid expansion of large-scale assessments and the growing adoption of automatic item generation have intensified concerns about incidental content redundancy, where construct-irrelevant elements such as wording or contextual framing become unintentionally repetitive across items. Traditional similarity metrics like BLEU or cosine similarity, often fail to capture the nuanced structural and semantic layers that drive perceived redundancy simultaneously. This study proposes a dual-dimensional framework for Automated Item Similarity Analysis (AISA) powered by Large Language Models (LLMs), operationalizing similarity through Structured Decomposition and Semantic Relatedness. Psychometric validation indicates that LLM-derived metrics align more closely with indicators of construct-irrelevant local dependence and yield more coherent item parameter groupings than traditional text-based measures. The framework is further evaluated through its application in Computerized Adaptive Testing (CAT). Simulations reveal that incorporating LLM-based similarity constraints into item selection improves estimation stability and reduces bias with minimal efficiency trade-offs, outperforming constraints based on conventional metrics. These findings highlight the potential of LLM-powered AISA to support scalable bank curation, content-aware test assembly, and experience-sensitive adaptive testing across diverse assessment contexts.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Надає надійний кількісний метод моделювання надмірності завдань, який можна адаптувати для виявлення патернів контенту, згенерованого ШІ.
- Демонструє, як використовувати LLM для створення інтерпретованих метрик подібності, які перевершують ефективність традиційних підходів NLP у психометричних контекстах.
- Пропонує дизайн, що піддається відтворенню, для інтеграції складних обмежень в алгоритми CAT, що безпосередньо застосовно до досліджень цілісності тестів під впливом ШІ.
Методологія та вибірка
У дослідженні використано дані 35 278 валідних учасників із набору даних шкали досвіду близьких стосунків (ECR), який містить 36 завдань типу Лайкерта. Модель була реалізована з використанням Claude Sonnet 4. Базовими показниками для порівняння слугували традиційна подібність BLEU та косинусна подібність, отримана на основі матриці «документ-термін».
Чому варто прочитати
Це дослідження пропонує складну методологію, керовану ШІ, для управління якістю банків завдань та формування тестів, яка безпосередньо вирішує психометричні проблеми надмірності випадкового контенту в адаптивному тестуванні.
Головні твердження та перевірені цитати
Орієнтовний переклад: “Ці результати свідчать про те, що великі мовні моделі (LLM) можуть функціонувати як інтегративні аналізатори подібності, а не просто як замінники наявних метрик.”* (машинний переклад) — 10.48550/arxiv.2608.24825, с. 18, абз. 3 (exact)
Орієнтовний переклад: “обмеження подібності впроваджують помірний компроміс щодо ефективності, проте підвищують надійність та узгодженість”* (машинний переклад) — 10.48550/arxiv.2608.24825, с. 19, абз. 4 (exact)
Обмеження та особливості дослідження
-
single_model:
виявлено
“this study employed a single LLM (Claude Sonnet 4) and a single item bank (the ECR scale) for validation.” (с. 19)
- Дослідження обмежене використанням лише однієї LLM (Claude Sonnet 4) та одного банку завдань (шкала ECR), що може обмежувати можливість генералізації результатів.
- Ваги та структури промптів для двовимірної моделі були встановлені на основі теоретичних міркувань і можуть не бути оптимальними для всіх галузей оцінювання.
- Кореляція між залишковими кореляціями та показниками подібності обмежена через внутрішню зашумленість залишкових кореляцій як індикатора випадкової подібності.
- підтримує Висока випадкова подібність може поставити під загрозу якість вимірювання. «Empirical evidence suggests that high semantic similarity can compromise measurement quality.», с. 4, абз. 5
- [метод / операційна проблема]: Хоча модель демонструє успіх на шкалі ECR, залишається незрозумілим, як вона працюватиме з більш складними або доменно-різноманітними банками завдань без значного ручного налаштування ваг.