Automated Generation of Complexity-Validated Decision Scenarios Using Large Language Models
Автори: Abdalla Doleh, Toni Somers, Ratna Babu Chinnam
Видання / Джерело: arXiv (2026)
Автоматизована генерація сценаріїв за допомогою LLM може досягти психометричної точності, порівнянної з розробкою експертів-людей, але якість і надійність істотно залежать від вибору моделі.
Головне з роботи
- Автоматизована система оцінювання на основі кількох фреймворків може успішно класифікувати згенеровані тестові стимули за рівнями складності з високою психометричною надійністю.
- Різні LLM демонструють різні профілі продуктивності; високошвидкісні моделі можуть жертвувати структурною якістю заради швидкості.
- Інструмент демонструє сильну кореляцію між складністю сценарію та довжиною тексту, що обмежує чистий поділ конструктів.
- Автоматична генерація стимулів вимагає суворої валідації як специфічних для моделі патернів помилок, так і охоплення предметної області.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
Cognitive decision-making research depends on diverse scenarios with carefully controlled complexity, yet manual production is slow, inconsistent, and biased. We developed an automated pipeline that uses LLms to generate structured decision scenarios and validates their complexity through a composite framework rooted in established task-complexity theory. We evaluated 4,238 scenarios across multiple domains and complexity tiers. Measurement validation met rigorous psychometric standards. Agreement among five independent model families was nearly perfect, with an intraclass correlation coefficient of 0.997 and a kappa of 0.971. Known-groups validity demonstrated large separation between tiers, with an eta-squared of 0.587 and all pairwise comparisons significant at p less than .001. Factor analysis revealed a dominant complexity construct, with loadings between 0.87 and 0.96 across three frameworks, while interactivity formed a weaker secondary dimension at 0.34. Discriminant validity was limited by a strong relationship between complexity and text length that persisted after controlling for tier, yielding a partial correlation of 0.86. This constrains construct purity but does not undermine the instrument's tier-grading function. Model analyses showed a negative association between throughput and schema pass rate (r = -0.967, p = .007, n = 5), suggesting a speed-quality trade-off, though largely driven by one high-throughput model. Llama 4 Maverick generated scenarios fastest at 134 per minute versus 25 for DeepSeek Chat V3.2, but underproduced complex-tier scenarios, whereas DeepSeek Chat V3.2 balanced domain coverage with high schema compliance. The system demonstrated strong psychometric properties, enabling reliable classification into Simple, Moderate, and Complex tiers and providing the measurement infrastructure needed for downstream cognitive assessment of AI systems
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Надає валідовану методологію для кількісної оцінки «складності» ШІ-генерованого контенту для оцінювання.
- Пропонує відтворюваний фреймворк для аудиту ШІ-генераторів оцінювання на предмет упередженості та помилок.
- Підтримує розробку стійких до ШІ систем оцінювання шляхом забезпечення контрольованої та психометрично обґрунтованої складності стимулів.
Методологія та вибірка
У дослідженні було згенеровано 4238 валідних сценаріїв у чотирьох доменах за допомогою п'яти LLM (Grok-4, Llama 4 Maverick, DeepSeek Chat V3, GPT-4o, GPT-5.2) при температурі 0. Валідація включала конвергентний, дискримінантний, порівняльний (known-groups) та номеологічний аналізи поряд із перевірками узгодженості між оцінювачами (підмножина N=220) серед незалежних сімейств моделей.
Чому варто прочитати
Дослідження надає рідкісну, сувору кількісну оцінку LLM як генераторів стандартизованих тестових стимулів, пропонуючи план створення стійкої до ШІ інфраструктури оцінювання з використанням психометричних принципів.
Головні твердження та перевірені цитати
Немає верифікованих цитат для цієї статті.
Обмеження та особливості дослідження
- Лише одна мова: не згадано в тексті
- Інструмент демонструє стійку кореляцію між складністю та довжиною тексту (часткова r=0.86).
- Спостереження щодо компромісу між швидкістю та якістю базується на невеликій панелі (n=5).
- У дослідженні відсутня паралельна валідація з оцінками складності експертів-людей або результатами виконання.
- Дизайн промпту, адаптований до оцінювання, унеможливлює вимірювання в умовах «сліпого» тестування.
- [метод / Упередженість вимірювання]: Автори визнають використання «адаптованого до оцінювання» супроводу (scaffolding), що ймовірно зміщує показники складності в бік цільових вимірів оцінювання, потенційно завищуючи заявлену конвергентну валідність.
- [метод / Узагальнюваність]: Використання температури T=0 для генерації та оцінювання забезпечує високу детерміновану надійність, але приховує те, як ці інструменти оцінювання можуть відхилятися або викривлятися в умовах «креативних» налаштувань із вищою варіативністю.