ШІ в освіті
UK EN

Статті за тегом: #валідність

8.0
assessment_design

Every Model Cheats: Prompt-Level Mitigation of Cheating on Offensive Cyber Tasks

Michael Kouremetis, Ads Dawson, Raja Sekhar Rao Dheekonda, Brian Greunke · arXiv (2026) · doi:10.48550/arxiv.2607.21763 · gemini-3.1-flash-lite

Повний розбір статті →

8.7
psychometric_modeling

LLM Judges as Raters: A Pre-Registered Audit of Severity, Halo, Reliability, and Version Instability in LLM Essay Scoring on Public Corpora

Veerendra Kumar Sunkavalli · arXiv (2026) · doi:10.48550/arxiv.2608.29517 · gemini-3.1-flash-lite

Повний розбір статті →

8.0
assessment_design

A Judge Should Know What Changed:Construct Validity for LLM-as-a-Judge Evaluation

Jianlin Chen, Wenhui Chen, Ziyao Lin, Chi Man Vong · arXiv (2026) · doi:10.48550/arxiv.2608.24419 · gemini-3.1-flash-lite

Повний розбір статті →

7.7
assessment_design

GAUGE: When Not to Trust LLM-as-a-Judge in User-Simulated Evaluation of Task-Oriented Agents

Umesh Bodhwani, Thanh Tran, Kai Wei · arXiv (2026) · doi:10.48550/arxiv.2609.12191 · gemini-3.1-flash-lite

Повний розбір статті →

8.0
detector_evaluation

StyleShield: Exposing the Fragility of AIGC Detectors through Continuous Controllable Style Transfer

Guantian Zheng · arXiv (2026) · doi:10.48550/arxiv.2605.00924 · gemini-3.1-flash-lite

Повний розбір статті →

8.0
psychometric_modeling

Laplace-PSN-IRT: Uncertainty Quantification for Neural Item Response Theory Models of LLM Benchmarks

Juan Francisco, Mandujano Reyes · arXiv (2026) · doi:10.48550/arxiv.2607.25257 · gemini-3.1-flash-lite

Повний розбір статті →

7.7
theoretical

Correct codes for the wrong reasons? validating LLMs as measurement instruments for theoretical constructs

Manuel Pita · arXiv (2026) · doi:10.48550/arxiv.2606.28574 · gemini-3.1-flash-lite

Повний розбір статті →

7.6
psychometric_modeling

Personality Without Persons? A Psychometric Critique of Big Five Testing in Large Language Models

Kim Zierahn, Cristina Cachero, Anna Korhonen, Nuria Oliver · arXiv (2026) · doi:10.48550/arxiv.2607.02325 · gemini-3.1-flash-lite

Повний розбір статті →

7.7
psychometric_modeling

Diagnosing the Reliability of LLM-as-a-Judge via Item Response Theory

Junhyuk Choi, Sohhyung Park, Chanhee Cho, Hyeonchu Park, Bugeun Kim · arXiv (2026) · doi:10.48550/arxiv.2602.00521 · gemini-3.7-flash

Повний розбір статті →

7.4
psychometric_modeling

Interpretable, Fairly Evaluated Automated L2 Speaking Assessment that Beats the Single-Human Ceiling and Why Pause Encoding Does Not Change LLM Fluency Scores

Eichi Uehara · arXiv (2026) · doi:10.48550/arxiv.2608.26137 · gemini-3.8-flash

Повний розбір статті →

7.8
assessment_design

Rubrics Carry the Standard: Shapley Attribution for Checklist-Based LLM Judges

Saeid Asgari, Rui Ying, Sara Malvar, Rakshanda Agarwal, Bruce Sun, Claire Wang, Leonardo de Oliveira Nunes, Ranveer Chandra · arXiv (2026) · doi:10.48550/arxiv.2610.24971 · gemini-3.8-flash

Повний розбір статті →

7.3
psychometric_modeling

Representational Control over Self-Report & Behavior Coherence in LLM Risk-Taking

Rafal Kocielnik, Peiyang Song, Pengrui Han, Myrl G. Marmarelis, Ramit Debnath, Dean Mobbs, R. Michael Alvarez · arXiv (2026) · doi:10.48550/arxiv.2610.04125 · gemini-3.1-flash-lite

Повний розбір статті →

7.3
psychometric_modeling

Identifying Causes of Test Unfairness: Manipulability and Separability

Youmi Suk, Weicong Lyu · arXiv (2026) · doi:10.48550/arxiv.2601.13449 · gemini-3.1-flash-lite

Повний розбір статті →

8.0
psychometric_modeling

Agreement Metrics for LLM-as-Judge Evaluation: What to Report and Why

Delip Rao, Chris Callison-Burch · arXiv (2026) · doi:10.48550/arxiv.2606.00093 · gemini-3.8-flash

Повний розбір статті →

7.4
psychometric_modeling

Inside the Scorer: Mechanistic Evidence on Rubric Control in LLM-Based Automated Essay Scoring from 25 Base Models

Chungche Huang, Po-Ya Angela Wang, Shu-Kai Hsieh · arXiv (2026) · doi:10.48550/arxiv.2610.25724 · gemini-3.7-flash

Повний розбір статті →

7.2
detector_evaluation

Why AI Detection Fails for Academic Integrity

Jonathan A. Karr, Grigorii Khvatskii, Ting Hua, Nitesh V. Chawla · arXiv (2026) · doi:10.48550/arxiv.2608.11256 · gemini-3.1-flash-lite

Повний розбір статті →

7.2
psychometric_modeling

Extending Item Response Theory for Efficient and Meaningful Multilingual Evaluation

Gili Lior, Tzviel Frostig, Gabriel Stanovsky, Matan Eyal · arXiv (2026) · doi:10.48550/arxiv.2606.15643 · gemini-3.7-flash

Повний розбір статті →

7.2
psychometric_modeling

CalibratedRubric: Task-Adaptive Rubric Banks for Open-Ended LLM Evaluation

Mengting Chen, Yanshu Sun, Wanting Liang, Beidi Luan, Rui Sun, Dezhi Chen, Jing Li, Zuo Bai · arXiv (2026) · doi:10.48550/arxiv.2607.29252 · gemini-3.1-flash-lite

Повний розбір статті →