Check The Scoreboard: An Analysis of Scoring Schemes on Multiple-Choice Evaluation
Nishant Balepur, Paiheng Xu, Wei Ai, Eunsol Choi, Rachel Rudinger, Jordan Boyd-Graber · arXiv (2026) · doi:10.48550/arxiv.2608.29887 · gemini-3.1-flash-lite
Суть роботи
Сучасні тести ШІ зазвичай просто підраховують кількість правильних відповідей, що часто заохочує вгадування. Використовуючи альтернативні методи оцінювання з традиційної педагогіки, це дослідження показує, що ми можемо краще виміряти справжнє розуміння моделі, її здатність виправляти помилки та логічні здібності. Ці нові метрики краще передбачають, які моделі ШІ люди дійсно будуть віддавати перевагу в реальному житті.
Метод і вибірка: Дослідження оцінює 31 сучасну LLM (включаючи сімейства Gemini, GPT, Claude, Llama та Qwen) на 1000 прикладах MCQ, взятих з бенчмарків ARC (шкільна наука), MMLU (академічні знання) та SuperGPQA (експертиза рівня аспірантури).
#психометрія#дизайн оцінювання#метрики оцінки#міркування LLM#логічна послідовність