Звіт про систематичний відбір (PRISMA 2020 Flow)
Прозорий звіт про всі етапи воронки відбору статей: виявлення академічними реєстрами, скринінг префільтром LLM, повнотекстова оцінка придатності та включення до синтезу з експертною валідацією.
✓ Математичний баланс воронки PRISMA збережено (100% замикання стадій)
Повна відсутність витоку даних: n_вхід = n_вихід + ∑n_вилучено + n_очікує на кожному етапі виявлення, скринінгу, придатності та синтезу.
ID: 15238 →
Screen: 14339 →
Eligible: 2185 →
Included: 69
Експертна валідація та верифікація (Петля смаку / Expert Taste Loop)
Окремо від воронки формальних правил відбору PRISMA: редакційні вердикти автора дайджесту для калібрування якості та активного навчання префільтру.
👍 10
Схвалено у випусках
(14 всього у корпусі)
👎 29
Відхилено з фіксацією причини
(1 до / 18 після аналізу)
Розподіл причин відхилення експертом:
not_novel: 4
not_for_educators: 3
off_topic: 13
too_narrow: 2
duplicate: 5
other: 1
weak_method: 1
📋 Структуроване резюме огляду (PRISMA 2020: пункт 2 — Structured Summary)
Фон (Background): Живий систематичний огляд застосування великих мовних моделей (LLM) та автономних агентів у вищій освіті. Досліджуються інженерні контрзаходи академічної недоброчесності та переосмислення дизайну оцінювання.
Цілі (Objectives): Систематичне виявлення, скринінг та синтез емпіричних доказів щодо надійності, методологічної строгості та викликів усталеному консенсусу в інтеграції GenAI в університетські курси.
Критерії придатності (Eligibility): Статті з наявним повнотекстовим Open Access (PDF/HTML); тематична релевантність R ≥ 4.0; зважений підсумковий бал Score ≥ 5.0.
Джерела інформації (Information Sources): Мультиреєстровий моніторинг: arXiv, Crossref, OpenAlex, Semantic Scholar, ERIC, а також ланцюжки цитувань (forward/backward citation depth 1–2).
Оцінка ризику упередженості (Risk of Bias): Комплексна метрика методологічної строгості (M, 0–10). Валідація відбору на базі подвійної оцінки: Gwet's AC1, стратифікована повнота та ROC AUC.
Синтез та включення (Synthesis): Включено n = 69 верифікованих робіт до постійного огляду із синтезом висновків, обмежень та емпіричних доказів.
🎯 Специфікація пошуку за схемою PICO / PECO (PRISMA 2020: пункти 4–5)
| Компонент | Визначення в протоколі | Критерії включення / виключення |
|---|---|---|
| P (Population) | Вища освіта: університети, коледжі, студенти бакалаврату/магістратури, викладачі та екзаменатори. | Включено: вища та професійна освіта. Виключено: виключно K-12 початкова школа без переносу методології на HE. |
| I / E (Intervention / Exposure) | Застосування сучасних LLM (GPT-4, Claude, Gemini, Llama) та агентських систем для генерації, вирішення тестів, підказок або оцінювання. | Включено: емпіричне тестування та інтеграція LLM. Виключено: загальне символьне AI або застарілий ML без зв'язку з GenAI. |
| C (Comparator) | Традиційні формати оцінювання без ШІ, людська продуктивність або порівняння різних інженерних захистів (guardrails, multi-agent validation). | Включено: наявність бейзлайну, порівняльних когорт або контрзаходів. Виключено: абстрактні оглядові есе без порівняльної бази. |
| O (Outcomes) | Ефективність завдань, проникність екзаменів ШІ, надійність інженерних контрзаходів, зміна критеріїв оцінювання, когнітивні ефекти. | Включено: емпіричні метрики точності, стійкості, складності або психометрії. Виключено: декларативні твердження без верифікації. |
| S (Study Design) | Емпіричні дослідження: контрольовані експерименти (RCT), квазі-експерименти, кейс-стаді, психометричний аналіз, бенчмарки. | Включено: наукові статті з емпіричними даними. Виключено: публіцистичні блоги, прес-релізи, посібники користувача. |
* Зноска: Математична модель префільтрації, показники та формула оцінювання (рубрика v2.3)
Показники та параметри рубрики
| Символ | Критерій оцінювання | Вага / Значення |
|---|---|---|
| M | Методологічна строгість (Methodological Rigor) | wM = 0.32 |
| E | Інженерні контрзаходи (Engineering Countermeasures) | wE = 0.25 |
| C | Виклик консенсусу (Consensus Challenge) | wC = 0.43 |
| N | Новизна (Novelty) | wN = 0.00 |
| R | Тематична релевантність (Topic Relevance, 0–10) | Rmin = 4.0, Rfull = 7.0 |
| Gate | Тематичний бар'єр (Binary Scope Gate) | PASS / FAIL |
| Поріг | Поріг допуску до повнотекстового аналізу | Score ≥ 5.0 |
Релевантність R є мультиплікатором, а не доданком: робота з R < R_min негайно обнуляється, а відмінна робота поза темою не може обійти профільне дослідження.
Математичні формули оцінки (MathML Core)
1. Підсумковий бал префільтрації (Score):
2. Зважена якість за критеріями рубрики (Q):
3. Логічний критерій відсіювання на скринінгу:
Методологія та звітність (PRISMA 2020: пункти 1–15, 23–27)
Тип огляду, мета, критерії (1, 3–5)
Living systematic review: щоденно поповнюваний огляд за автоматизованим відбором. Це інструмент відбору літератури, а не опублікований огляд з мета-аналізом.
Тема (запит до моделі): Validity of educational assessment under generative AI and how to keep it (AI-resistant / AI-resilient assessment). Core: how generative AI changes what grades and test scores mean (validity arguments in the sense of Kane and Messick), assessment redesign, and quantitative methods that detect or model the distortion in assessment and learning data: item response theory, differential item functioning between humans and LLMs, item parameter drift, rater drift, item compromise and preknowledge, score shifts under unsupervised or online conditions (proctored vs unproctored exams, cheating, grade inflation), change-point and concept-drift detection, LLMs as test takers or raters, computerized adaptive testing and automated test assembly. Computational, statistical and engineering work is preferred, but a solid conceptual or empirical education study of assessment under generative AI belongs here too. Detectors of AI-generated text and watermarking are only adjacent to the topic. The audience is university educators and researchers: work about primary and secondary school (K-12) is off topic unless its findings or methods clearly transfer to higher education.
- Включення: наукова стаття з тематичним балом R ≥ 4.0, підсумковий бал ≥ 5.0; доступний легальний повний текст (open access), який прочитано.
- Виключення: не-статті (датасети, код, errata), дублікати й препринти опублікованих робіт, відкликані роботи, K-12 без переносу на вищу освіту, роботи без повного тексту (paywall, помилки завантаження), відхилені експертом (👎, причина фіксується).
- Ручні додавання (origin = manual) обходять бальний скринінг, але проходять оцінку придатності.
Джерела та дата останнього звернення (6)
| Канал | Записів | Останній запис |
|---|---|---|
search — arXiv, OpenAlex, Semantic Scholar, ERIC | 13487 | 2026-11-02 18:22 |
ref — список літератури прочитаних робіт | 1724 | 2026-11-02 14:23 |
manual — додано вручну | 27 | 2026-10-07 12:05 |
Метадані кандидатів із цитувань беруться з OpenAlex; Crossref/Unpaywall — для DOI, версій і відкритих PDF.
Пошукова стратегія (7)
Поточна версія пошуку: v1.0. Робота збігається, якщо в назві чи абстракті є термін з УСІХ груп хоча б одного запиту (АБО всередині групи; без урахування регістру, межі слів).
Запити (групи):
education × ai; psychometrics × ai; integrity × education; drift × education; drift × psychometrics
education: education, educational, student, learner, teacher, lecturer, classroom, university, higher education, school, curriculum, assessment, exam, examination, examinee, test taker, test score, grading, homework, coursework, online course, essay, academic integrity, academic misconduct, plagiarism, cheating, e-learning, MOOC
ai: generative AI, GenAI, large language model, LLM, ChatGPT, GPT-4, chatbot, AI-generated, AI-assisted, AI-resistant, AI-resilient, AI tool, artificial intelligence
integrity: proctoring, proctored, unproctored, non-proctored, remote proctoring, online exam, online test, online testing, exam integrity, testing integrity, academic integrity, academic dishonesty, cheating, contract cheating, grade inflation
psychometrics: item response theory, IRT, Rasch, psychometric, educational measurement, educational testing, differential item functioning, computerized adaptive testing, adaptive testing, automated test assembly, knowledge tracing, automated scoring, automated essay scoring, validity argument, construct validity, assessment validity, predictive validity
drift: parameter drift, dynamic item response, item parameter drift, rater drift, severity drift, concept drift, change point, change-point detection, item compromise, preknowledge, item exposure, test security, aberrant response, person-fit, differential item functioning
Фрази Semantic Scholar: assessment validity generative AI; AI-resilient assessment higher education; AI-resistant assessment design; generative AI exam performance natural experiment; differential item functioning large language models humans; LLM as test taker item response theory; proctored versus unproctored online exam scores; generative AI grade inflation; item parameter drift detection; item compromise preknowledge detection; concept drift knowledge tracing; change point detection educational testing
arXiv: cs.CY, cs.CL, cs.HC, cs.AI, cs.LG, stat.AP, stat.ME. Ліміти результатів на запит: OpenAlex 50, Semantic Scholar 25, ERIC 25. Цитування: глибина 1 від прочитаних і 👍, глибина 2 лише від 👍; сусіди 👍-робіт оминають лексичний фільтр.
| Версія пошуку | Записів (search) | Перший | Останній |
|---|---|---|---|
v1.0 | 13487 | 2026-10-06 | 2026-11-02 |
Процес відбору та автоматизація (8, 9, 11)
- Скринінг анотацій: один автоматичний «рецензент» — LLM (gemini-3.1-flash-lite, gemini-3.5-flash-lite), пачки по 20, моделі чергуються; кожна оцінка зберігається (prefilter_evaluations) з моделлю й версією рубрики.
- Повнотекстовий аналіз і збір даних: gemini-3.8-flash, gemini-3.7-flash, gemini-3.6-flash, prompt
v2.1. Тільки після конвертації PDF у Markdown; без тексту модель не викликається. - Перевірка: кожну цитату код звіряє з текстом (точний збіг після нормалізації); непідтверджені твердження відкидаються.
- Людина: незалежної другої оцінки немає. Власник виносить вердикти 👍/👎 на вибірці кандидатів (50% біля порога, 30% найвищі, 20% випадкові); вони впливають на чергу й few-shot, але не змінюють бал.
- Дані, що збираються (10): суть, метод/дані/вибірка, твердження, обмеження, тип дизайну (assessment_design, psychometric_modeling, natural_experiment, detector_evaluation, survey, rct, quasi_experiment, qualitative, theoretical, review, other), теги, критерії рубрики.
- Ризик упередженості (11): не оцінювався формально (RoB, GRADE не застосовуються); критерій M «методологічна строгість» (0–10) — ранжувальна оцінка, а не інструмент RoB. Ефектів і мета-аналізу (12, 13d–f, 15) не обчислюється: синтез — якісний, у вигляді розборів статей і тегів.
| Модель скринінгу | Оцінено |
|---|---|
gemini-3.1-flash-lite | 7106 |
gemini-3.5-flash-lite | 6737 |
— | 562 |
| Модель аналізу | prompt | Розборів |
|---|---|---|
gemini-3.1-flash-lite | v2.1 | 275 |
gemini-3.6-flash | v2.1 | 139 |
gemini-3.8-flash | v2.1 | 101 |
gemini-3.7-flash | v2.1 | 94 |
Рубрика оцінювання v2.3 (якорі 0–10)
Модель ставить оцінку 0–10 за кожним критерієм; якорі нижче вбудовані в промпт. Формула й ваги — у зносці вище. Зміна якорів чи ваг без нової версії блокується хешем.
| Критерій | Вага | 2 | 5 | 8 |
|---|---|---|---|---|
| Тематична релевантність (R) | × min(1, R/7.0) | No link to education or assessment: image, audio or model watermarking, model IP protection, general NLP benchmarks, AI in industry. | Adjacent: generative AI in education without an assessment focus; academic integrity with no evidence on assessment outcomes; detectors of AI-generated text or of student AI use; general psychometrics (adaptive testing, test assembly, IRT) with no drift, validity or AI angle. | Core: validity of assessment under generative AI (what grades and scores mean when AI is available); how grades shift under unsupervised conditions or cheating (proctored vs unproctored exams, grade inflation); AI-resistant or AI-resilient assessment design; quantitative methods that detect or model distorted assessment or learning data (DIF between humans and LLMs, item parameter or rater drift, item compromise/preknowledge, change-point or concept-drift detection, LLMs as test takers or raters). |
| Методологічна строгість (M) | 0.32 | Vague evaluation, convenience sample of a few dozen, self-report only, no control group or baseline. | Clear dataset or sample (hundreds), standard metrics or validated instruments, comparison with baselines or a control group. | Randomized/controlled or preregistered, large or multi-site/multilingual data, adversarial or robustness checks, effect sizes with uncertainty. |
| Інженерні контрзаходи (E) | 0.25 | No method or countermeasure: describes impact, attitudes or policy only. | A concrete method or countermeasure with an evaluation: statistical test or model, detector, scoring procedure, or an assessment design tried on real cohorts. | A rigorous, reusable method: formal model with guarantees or error control, open code, validated on both real and simulated data. |
| Виклик консенсусу (C) | 0.43 | Reconfirms standard wisdom. | Nuances the consensus (e.g. detectors fail under mild paraphrasing; AI use does not harm an outcome it is assumed to harm). | Directly refutes high-profile claims with rigorous evidence. |
| Новизна (N) | 0.00 | Replicates well-known findings (another survey of student attitudes to ChatGPT, another test of one detector on a handful of prompts). | New dataset, benchmark, population or setting, or a previously untried technique. | Fundamentally new attack or defence, a theoretical/impossibility result, or a finding that changes how the field frames the problem. |
Оцінки між якорями інтерполюються моделлю. Бал глибокого аналізу рахує код за тією ж формулою з criteria_breakdown.
| Версія рубрики | Оцінено робіт |
|---|---|
v2.0 | 261 |
v2.1 | 183 |
v2.2 | 20 |
v2.3 (поточна) | 13941 |
Валідація скринінгу: вимірювання надійності та згоди
Еталон — вердикти 👍/👎 експерта. Обчислюються повні метрики систематичних оглядів PRISMA: повнота, специфічність, NPV, F₁, F₂, ROC AUC, DOR, парадокс-імунна Gwet's AC₁ та згода балів.
| Показник | Значення | Що це означає |
|---|---|---|
| Повнота на seed-наборі | 50% (1/2), 95% CI 9–91% | Частка 👍-робіт, доданих вручну (в обхід скринінгу), чий бал ≥ порога 5.0. Незміщена оцінка чутливості на цьому наборі. |
| Оцінена повнота корпусу | 100% (100–100%) | Постстратифікація за смугами балу з оціночних вердиктів; консервативний інтервал. Пропущено релевантних ≈ 0 (0–0). Не оцінено (мало вердиктів у смузі): 12181 відсіяних робіт. |
| Чутливість (Sensitivity / Recall) | 100% (12/12), 95% CI 76–100% | Частка релевантних (👍), успішно пропущених скринінгом: TP / (TP + FN). |
| Специфічність (Specificity) | 20% (4/20), 95% CI 8–42% | Частка нерелевантних (👎), успішно відсіяних скринінгом: TN / (TN + FP). |
| Точність (Precision / PPV) | 43% (12/28), 95% CI 27–61% | Частка схвалених експертом серед тих, що пройшли скринінг: TP / (TP + FP). |
| Негативна прогностична цінність (NPV) | 100% (4/4), 95% CI 51–100% | Частка справді нерелевантних серед робіт, відсіяних скринінгом: TN / (TN + FN). Мінімізує ризик втрати цінних робіт. |
| F-міри (F₁ та F₂) | F₁: 0.60 · F₂: 0.79 | F₂ надає ваги повноті (чутливості) вдвічі більше за точність — ключова метрика безпеки відсіювання для PRISMA. |
| Збалансована точність | 60.0% | Середнє арифметичне чутливості та специфічності ((Sens + Spec) / 2), нечутливе до дисбалансу класів. |
| Діагностичне відношення шансів (DOR) | 6.82 | DOR = (TP · TN) / (FP · FN) із поправкою Haldane-Anscombe. Міра загальної дискримінаційної спроможності скринінгу. |
| ROC AUC | 0.65 (95% CI 0.43–0.84) | Імовірність, що 👍-робота отримала вищий бал, ніж 👎 (0,5 = випадково). Довірчий інтервал обчислено DeLong / Bootstrap. |
| Надійність згоди (Gwet's AC₁ та Cohen's κ) | — | Gwet's AC₁ є парадокс-імунною мірою згоди між моделями на спільних статтях, що не занижується при сильному дисбалансі класів (коли 80–90% відсіюється). |
| Неперервна згода балів моделей |
MAD: — r Пірсона: — |
MAD (середня абсолютна різниця балів) та кореляція Пірсона r між оцінками моделей скринінгу на спільній вибірці. |
| Смуга балу | Робіт | З вердиктом | 👍 | Частка 👍 |
|---|---|---|---|---|
| 0.0–2.0 | 7868 | 2 (замало) | 0 | 0% |
| 2.0–4.0 | 3288 | 0 (замало) | 0 | — |
| 4.0–5.0 | 1025 | 2 (замало) | 0 | 0% |
| 5.0–6.0 ✓ | 1190 | 3 | 2 | 67% |
| 6.0–8.0 ✓ | 941 | 23 | 8 | 35% |
| 8.0–10.0 ✓ | 30 | 2 (замало) | 2 | 100% |
| Модель скринінгу | Seed-повнота | AUC | Sens / Spec | Prec / NPV | F₁ / AC₁ | 👍 / 👎 (TP/FP/FN/TN) |
|---|---|---|---|---|---|---|
gemini-3.1-flash-lite |
50% (1/2), 95% CI 9–91% | 0.63 | 100% (12/12), 95% CI 76–100% / 16% (3/19), 95% CI 6–38% | 43% (12/28), 95% CI 27–61% / 100% (3/3), 95% CI 44–100% | 0.60 / 0.05 | 12 / 19 (12/16/0/3) |
gemini-3.5-flash-lite |
— | — | — / 100% (1/1), 95% CI 21–100% | — / 100% (1/1), 95% CI 21–100% | — / 1.00 | 0 / 1 (0/0/0/1) |
— |
— | — | — / — | — / — | — / — | 0 / 0 (0/0/0/0) |
Щоб звузити інтервали, оцінюйте роботи з нижніх смуг: вибірка кандидатів у /admin/taste бере 20% випадкових робіт. Оцінки оновлюються автоматично з кожним вердиктом.
Оцінка методологічної строгості та розподіл дизайнів (11, 18)
Критерій строгості M (0–10) оцінюється під час повнотекстового аналізу. Розподіл дизайнів базується на верифікованій класифікації емпіричних робіт.
Середня строгість (M)
6.63 / 10
Проаналізовано робіт: 599
Розподіл рівнів строгості
🟢 Висока строгість (M ≥ 7.0): 315
🟡 Помірна строгість (4.0 ≤ M < 7.0): 267
🔴 Низька строгість (M < 4.0): 17
| Дизайн дослідження (Study Design) | Кількість робіт |
|---|---|
psychometric_modeling | 231 |
other | 42 |
theoretical | 26 |
rct | 13 |
assessment_design | 156 |
natural_experiment | 4 |
quasi_experiment | 53 |
detector_evaluation | 39 |
survey | 7 |
review | 16 |
experimental | 1 |
qualitative | 11 |
Чек-лист відповідності PRISMA 2020 (усі 27 пунктів)
Повний аудит відповідності огляду чек-листу PRISMA 2020 (Page et al., 2021) для автоматизованих систематичних оглядів.
| № | Розділ / Пункт | Вимога чек-листа | Статус | Реалізація в системі |
|---|---|---|---|---|
| 1 | Title | Ідентифікація як живий систематичний огляд | ✓ Впроваджено | Заголовок сторінки, метадані звіту |
| 2 | Abstract | Структуроване резюме (фон, цілі, методи, результати) | ✓ Впроваджено | Блок #prisma-abstract (пункт 2 вище) |
| 3 | Rationale | Обґрунтування огляду в контексті існуючих знань | ✓ Впроваджено | Опис теми, цілей та потреби в контрзаходах |
| 4 | Objectives | Чітке формулювання питань за схемою PICO / PECO | ✓ Впроваджено | Блок #pico-framework (таблиця PICO вище) |
| 5 | Eligibility criteria | Критерії включення та виключення, мова, дати | ✓ Впроваджено | Пороги R ≥ 4.0, Score ≥ 5.0, Open Access |
| 6 | Information sources | Бази даних, реєстри, дати останнього запиту | ✓ Впроваджено | arXiv, Crossref, OpenAlex, Semantic Scholar, ERIC, цитування |
| 7 | Search strategy | Повна стратегія пошуку, булеві оператори, версії | ✓ Впроваджено | search_version, повні групи термінів, API limits |
| 8 | Selection process | Процес скринінгу, автоматизація, дублювання оцінок | ✓ Впроваджено | LLM скринінг з ротацією моделей + редакційна петля смаку |
| 9 | Data collection | Методи отримання даних з повнотекстових звітів | ✓ Впроваджено | PDF → Markdown парсинг, deep analysis prompt v2.1 |
| 10a-b | Data items | Перелік змінних, результатів та характеристик | ✓ Впроваджено | Суть, вибірка, дизайн, емпіричні твердження, контрзаходи |
| 11 | Study risk of bias | Оцінка методологічної якості досліджень | ✓ Впроваджено | Критерій строгості M (0–10), розподіл рівнів якості |
| 12 | Effect measures | Міри величини ефекту (RR, OR, MD) | — Обґрунтовано N/A | Якісний синтез та живий дайджест без мета-аналізу ефектів |
| 13a-f | Synthesis methods | Критерії об'єднання та методи синтезу | ✓ Впроваджено | Тематична кластеризація за тегами, порівняльні картки |
| 14 | Reporting bias | Оцінка зміщення звітності (публікаційне зміщення) | ✓ Впроваджено | Аналіз Paywall-виключень та відкритого доступу |
| 15 | Certainty assessment | Оцінка впевненості у доказах | ✓ Впроваджено | Автоматична верифікація цитат із тексту робіт |
| 16 | Study selection | Результати відбору (PRISMA воронка, числа) | ✓ Впроваджено | 100% замикання стадій: n_вхід = n_вихід + ∑n_вилучено |
| 17 | Study characteristics | Характеристики включених робіт у таблиці | ✓ Впроваджено | Інтерактивна таблиця з DOI, журналами, роками та тегами |
| 18 | Risk of bias in studies | Результати оцінки ризику упередженості | ✓ Впроваджено | Таблиця розподілу строгості M та дизайнів досліджень |
| 19 | Results of individual studies | Результати для кожної окремої статті | ✓ Впроваджено | Публічні сторінки /doi/{doi} з повними розборами |
| 20a-d | Results of syntheses | Результати тематичного синтезу | ✓ Впроваджено | Щоденні випуски дайджесту, RSS-канал, тегові вибірки |
| 21 | Reporting biases | Фактичні дані щодо виявлених зміщень | ✓ Впроваджено | Paywall n=319, відкликані n=0 |
| 22 | Certainty of evidence | Підсумкова надійність масиву доказів | ✓ Впроваджено | Gwet's AC₁, Cohen's κ, стратифікована повнота та ROC AUC |
| 23a-d | Discussion | Обговорення, обмеження методів та висновки | ✓ Впроваджено | Блок обмежень (пункти 23b, 23c) у методології |
| 24a-c | Registration & protocol | Реєстрація, доступ до протоколу, зміни | ✓ Впроваджено | Відкритий репозиторій, журнал версій search_ver та рубрик |
| 25 | Support | Джерела фінансування огляду | ✓ Впроваджено | Безкоштовні відкриті рівні API (Gemini/OpenAlex) |
| 26 | Competing interests | Заява про конфлікт інтересів | ✓ Впроваджено | Конфлікти відсутні, зафіксовано в методології |
| 27 | Data & code availability | Доступність даних аналізів, коду та матеріалів | ✓ Впроваджено | Експорт у CSV / JSON (кнопки нижче), відкритий код |
Обмеження (23b, 23c)
- Лише open access: платні статті не потрапляють до синтезу, тож вибірка зміщена в бік відкритих і препринтів.
- Скринінг ранжує за якістю й новизною, а не лише за придатністю, тож вибірка зміщена до робіт, що оскаржують консенсус. Валідність виміряно щодо одного експерта (див. вище); один LLM-рецензент, упередження моделей і різниця між версіями лишаються.
- Лексичний фільтр і ліміти результатів можуть пропускати роботи з іншою термінологією; англомовне зміщення джерел.
- Записи, оцінені давнішою версією рубрики, не перераховуються автоматично (див. таблицю версій).
- Безкоштовна квота Gemini: денні ліміти уповільнюють аналіз, частина відібраних робіт чекає в черзі.
Реєстрація, протокол, зміни, підтримка, дані (24–27)
- Реєстрація: огляд не реєструвався. Протокол — це конфігурація (тема, запити, рубрика, пороги) у репозиторії проєкту; вона відтворюється з цього блоку.
- Зміни протоколу: версії пошуку (search_version) і рубрики (rubric_version), таблиці вище.
- Фінансування: окремого не заявлено, використовуються безкоштовні рівні API. Конфлікти інтересів: не заявлено.
- Дані: аналізи й метадані — на сторінках статей, RSS і sitemap; повні тексти приватні (авторське право) і не публікуються.
Фільтрація за тегами
Виберіть один або декілька тегів для деталізації звіту та перегляду списку статей.
#psychometrics (99)
#Psychometrics (55)
#Item Response Theory (45)
#academic integrity (45)
#item response theory (37)
#assessment validity (33)
#Assessment Validity (32)
#higher education (32)
#Automated Essay Scoring (27)
#Generative AI (25)
#construct validity (25)
#IRT (24)
#automated essay scoring (22)
#Construct Validity (21)
#generative AI (19)
#Academic Integrity (18)
#LLM as rater (18)
#Automated Scoring (16)
#Higher Education (16)
#Large Language Models (16)
#assessment redesign (16)
#assessment_design (16)
#LLM Evaluation (15)
#AI-resilient assessment (13)
#assessment design (13)
#automated assessment (13)
#automated scoring (13)
#large language models (13)
#validity (13)
#LLM as Rater (12)
#academic_integrity (12)
#assessment-validity (11)
#assessment_validity (11)
#benchmarking (11)
#differential item functioning (11)
#Assessment Redesign (10)
#ChatGPT (10)
#GPT-4 (10)
#LLM-as-a-judge (10)
#LLMs as raters (10)
#Prompt Engineering (10)
#item_response_theory (10)
#prompt engineering (10)
#Automated Item Generation (9)
#Computerized Adaptive Testing (9)
#DIF (9)
#Inter-Rater Reliability (9)
#LLM evaluation (9)
#LLMs as Test Takers (9)
#concept drift (9)
#rater drift (9)
#AI-resistant assessment (8)
#Assessment Design (8)
#Differential Item Functioning (8)
#Knowledge Tracing (8)
#Validity (8)
#automated_essay_scoring (8)
#computerized adaptive testing (8)
#construct_validity (8)
#higher_education (8)
| # | Статус / Етап | Стаття | LLM Оцінка | Оцінка експерта |
|---|---|---|---|---|
| 401 | У буфері |
Beyond Response Scoring: An AI-aware Cognitive Supervision Framework for Automated Mathematical Short Answer Grading
arXiv (2026) · doi:10.48550/arxiv.2610.41215 · v1.0 |
6.9 (gemini-3.6-flash) | — |
| 402 | scored |
RTL-Interact: Training EDA-Interactive Models for Multi-Task RTL Design
arXiv (2026) · doi:10.48550/arxiv.2610.41225 · v1.0 |
0.0 (gemini-3.1-flash-lite) | — |
| 403 | Відсіяно |
AIGCodeSet: A New Annotated Dataset for AI Generated Code Detection
Signal Processing and Communications Applications Conference (SIU) (2025) · doi:10.1109/siu66497.2025.11112334 · v1.0 |
1.4 (gemini-3.1-flash-lite) | — |
| 404 | Відсіяно |
Uncovering LLM-Generated Code: A Zero-Shot Synthetic Code Detector via Code Rewriting
Proceedings of the AAAI Conference on Artificial Intelligence (2025) · doi:10.1609/aaai.v39i1.32082 · v1.0 |
2.6 (gemini-3.1-flash-lite) | — |
| 405 | Відсіяно |
Detecting AI-Generated Code Assignments Using Perplexity of Large Language Models
Proceedings of the AAAI Conference on Artificial Intelligence (2024) · doi:10.1609/aaai.v38i21.30361 · v1.0 |
2.6 (gemini-3.1-flash-lite) | — |
| 406 | Відсіяно |
DetectLLM: Leveraging Log Rank Information for Zero-Shot Detection of Machine-Generated Text
Findings of the Association for Computational Linguistics: EMNLP (Findings of EMNLP) (2023) · doi:10.18653/v1/2023.findings-emnlp.827 · v1.0 |
2.6 (gemini-3.1-flash-lite) | — |
| 407 | scored |
One Truncated Likelihood Expansion: Estimation, Testing, and Classification as a Single Captured-Fraction Functional
Research Square (2026) · doi:10.21203/rs.3.rs-10226291/v1 · v1.0 |
0.0 (gemini-3.5-flash-lite) | — |
| 408 | scored |
Development and Psychometric Validation of the CaregiverCPP Scale for Caregivers of Children With Central Precocious Puberty: A Multicenter Study in China
Research Square (2026) · doi:10.21203/rs.3.rs-9991907/v1 · v1.0 |
0.0 (gemini-3.1-flash-lite) | — |
| 409 | Відсіяно |
Pelatihan Riset Praktis Berbasis Tools digital dan Artificial intelligence bagi Mahasiswa Manajemen dan Akuntansi
Lumbung Inovasi Jurnal Pengabdian kepada Masyarakat (2026) · doi:10.36312/linov.v11i2.5252 · v1.0 |
1.1 (gemini-3.1-flash-lite) | — |
| 410 | Відсіяно |
The Ethical Use of AI Technology Applications Among University Students in Pahang
Asia Pacific Journal of Educators and Education (2026) · doi:10.21315/apjee2026.41.1.12 · v1.0 |
2.3 (gemini-3.1-flash-lite) | — |
| 411 | Відсіяно |
Moral Teacher Agency in AI Integration: An Interpretative Phenomenological Study of Writing Instruction by Indonesian English as a Foreign Language (EFL) Lecturers
Asia Pacific Journal of Educators and Education (2026) · doi:10.21315/apjee2026.41.1.10 · v1.0 |
1.9 (gemini-3.1-flash-lite) | — |
| 412 | Відсіяно |
Transforming Classroom Pedagogy through Generative AI: Challenges, Opportunities, and Future Directions
International Journal of Academic Research in Progressive Education and Development (2026) · doi:10.6007/ijarped/v15-i2/28379 · v1.0 |
1.9 (gemini-3.1-flash-lite) | — |
| 413 | Відсіяно |
INVESTIGATING INSTITUTIONAL COMPLICITY IN ACADEMIC FRAUD: A STUDY OF MOBILE PHONE CHEATING FACILITATION BY INSTITUTIONAL ACTORS AND POLICE IN SOMALIA’S NATIONAL SECONDARY EXAMINATIONS: A MULTIPLE REGRESSION ANALYSIS
European Journal of Education Studies (2026) · doi:10.46827/ejes.v13i7.6781 · v1.0 |
3.5 (gemini-3.1-flash-lite) | — |
| 414 | Відсіяно |
Leitlinien für die Nutzung von KI in Lehre und Prüfungen am Department Psychologie
Zenodo (CERN European Organization for Nuclear Research) (2026) · doi:10.5281/zenodo.20606211 · v1.0 |
1.7 (gemini-3.1-flash-lite) | — |
| 415 | Відсіяно |
ARTIFICIAL INTELLIGENCE AND ITS IMPACT ON ACADEMIC RESEARCH AND EDUCATION: OPPORTUNITIES, CHALLENGES, AND ETHICAL ASPECTS
International Journal of Drug Delivery Technology (2026) · doi:10.25258/ijddt.16.51s.145 · v1.0 |
1.4 (gemini-3.1-flash-lite) | — |
| 416 | Відсіяно |
Artificial Intelligence Policy Development in a Hybrid, Accelerated DPT Program: Planning for Academic Integrity
Internet Journal of Allied Health Sciences and Practice (2026) · doi:10.46743/1540-580x.2869 · v1.0 |
3.4 (gemini-3.1-flash-lite) | — |
| 417 | Відсіяно |
Artificial Intelligence (AI) in a Hybrid DPT Program: Student Opinions on Use, Cheating, and Plagiarism
Internet Journal of Allied Health Sciences and Practice (2026) · doi:10.46743/1540-580x.2830 · v1.0 |
2.5 (gemini-3.1-flash-lite) | — |
| 418 | Відсіяно |
Students' perception of the impact of AI integration on learning: Effectiveness and challenges
Divine Word International Journal of Management and Humanities (DWIJMH) (2026) · doi:10.62025/dwijmh.v5i2.308 · v1.0 |
1.9 (gemini-3.1-flash-lite) | — |
| 419 | Відсіяно |
Before You Judge Someone’s Work: Accuracy and Limitations of AI-generated Text Detectors in Academic Neurology (P1-15.002)
Neurology (2026) · doi:10.1212/wnl.0000000000216676 · v1.0 |
3.0 (gemini-3.1-flash-lite) | — |
| 420 | scored |
Process Visibility in AI-Mediated Education: Why the Question Is Not Who Wrote It But Who Thought It
Zenodo (CERN European Organization for Nuclear Research) (2026) · doi:10.5281/zenodo.20604746 · v1.0 |
5.1 (gemini-3.1-flash-lite) | — |
| 421 | Відсіяно |
Reimagining the first-year experience in MTU: Scaffolding academic integrity in a GenAI world
Journal of Perspectives in Applied Academic Practice (2026) · doi:10.56433/bw5k7d21 · v1.0 |
2.6 (gemini-3.1-flash-lite) | — |
| 422 | Відсіяно |
Integrating Artificial Intelligence in Classroom Learning: Opportunities and Challenges for Student-Centered Pedagogy
The Journal of Educatio et Didactica (2026) · doi:10.67171/0gqhqw80 · v1.0 |
1.9 (gemini-3.1-flash-lite) | — |
| 423 | Відсіяно |
Education faculty experiences and interpretations of generative AI's impact on scholarship and higher education: a mixed-methods study
Quarterly review of distance education (2026) · doi:10.1108/qrde-02-2026-0007 · v1.0 |
2.1 (gemini-3.1-flash-lite) | — |
| 424 | Відсіяно |
Co-Creating an Extended Induction at Nottingham Business School and Insights from EFYE 2025
Journal of Perspectives in Applied Academic Practice (2026) · doi:10.56433/npppyy11 · v1.0 |
1.1 (gemini-3.1-flash-lite) | — |
| 425 | Відсіяно |
use of AI-powered writing tools in EFL academic writing in Indonesia: A meta-synthesis review
Celtic A Journal of Culture English Language Teaching Literature and Linguistics (2026) · doi:10.22219/celtic.v13i1.43324 · v1.0 |
2.1 (gemini-3.1-flash-lite) | — |
| 426 | Відсіяно |
Artificial Intelligence Governance in Indonesian Education: Regulatory Analysis and the Strengthening of Academic Integrity in the Era of Generative AI
Jurnal Ilmiah Guru Madrasah. (2026) · doi:10.69548/jigm.v5i1.120 · v1.0 |
1.4 (gemini-3.1-flash-lite) | — |
| 427 | scored |
Cultural Hub: An AI-Integrated Digital Knowledge Publishing Framework for Author Empowerment and Knowledge Democratisation towards Viksit Bharat
Vidhyayana (2026) · doi:10.58213/6e469202 · v1.0 |
0.0 (gemini-3.1-flash-lite) | — |
| 428 | У буфері |
From Benchmarking to Failure Diagnosis: Diagnosing Classical Chinese Understanding in LLMs via IRT and Error Attribution
Findings of the Association for Computational Linguistics: EMNLP (Findings of EMNLP) (2026) · doi:10.18653/2026.findings-emnlp.618 · v1.0 |
4.0 (gemini-3.6-flash) | — |
| 429 | Без повного тексту |
Personalized Automated Test Generation in Programming Education Using Fuzzy‐Weighted Large Language Models
International Journal of Intelligent Systems (2026) · doi:10.1155/int/9444834 · v1.0 |
7.6 (gemini-3.5-flash-lite) | — |
| 430 | scored |
Artificial Intelligence Assistance and Assessment Quality: A Systematic Review of Validity Evidence, Reliability and Interpretability
International Journal of Research and Innovation in Social Science (2026) · doi:10.47772/ijriss.2026.1026edu0663 · v1.0 |
5.0 (gemini-3.5-flash-lite) | — |
| 431 | Відсіяно |
Digital mirage of competence: delegation of thinking and the crisis of trust in personnel management
STATISTICS ANALYSIS MANAGEMENT (2026) · doi:10.36871/s.a.m.2026.03.02.010 · v1.0 |
4.7 (gemini-3.5-flash-lite) | — |
| 432 | Відсіяно |
Generative AI, Academic Communication and Responsible Practices in Higher Education: A Structured Integrative Review of Ethical, Integrity and Assessment Challenges
International Journal of Research and Innovation in Applied Science (2026) · doi:10.51584/ijrias.2026.11090172 · v1.0 |
3.8 (gemini-3.5-flash-lite) | — |
| 433 | scored |
An Argument-Based Validation of Generative AI-Assisted Scoring for Classroom L2 Speaking Assessments of Functional Adequacy
SSRN Electronic Journal (2026) · doi:10.2139/ssrn.7670030 · v1.0 |
0.0 (Flash Lite) | — |
| 434 | Без повного тексту |
Towards Reliable Automated Essay Scoring: A Feature‐Calibrated LLM Approach for the IELTS Exam
Applied Computational Intelligence and Soft Computing (2026) · doi:10.1155/acis/5145886 · v1.0 |
6.8 (gemini-3.5-flash-lite) | — |
| 435 | scored |
Prompt-Driven Generation of Senior Tree English Reading Comprehension Tests—A Case Study of ChatGPT 5.6
Advances in Education (2026) · doi:10.12677/ae.2026.16102156 · v1.0 |
5.0 (gemini-3.5-flash-lite) | — |
| 436 | scored |
Do Androids Dream of Unseen Puppeteers? Probing for Conspiratorial Tendencies in Large Language Models
Findings of the Association for Computational Linguistics: EMNLP (Findings of EMNLP) (2026) · doi:10.18653/2026.findings-emnlp.79 · v1.0 |
0.0 (gemini-3.5-flash-lite) | — |
| 437 | Відсіяно |
Knowing the Student: Professional Judgement, Authenticity and Academic Standards in the Age of Generative AI
International Journal of Research and Innovation in Social Science (2026) · doi:10.47772/ijriss.2026.100900332 · v1.0 |
4.2 (gemini-3.5-flash-lite) | — |
| 438 | Без повного тексту |
Principled Evaluation of AI Models: A Statistical Perspective
Deep Blue (University of Michigan) (2026) · doi:10.7302/dspace/30595 · v1.0 |
7.6 (gemini-3.5-flash-lite) | — |
| 439 | scored |
Knowledge Tracing and Large Language Model Tutoring in Low-Resource Contexts: A Critical Synthesis of Retrieval Fidelity and Infrastructure Viability
SSRN Electronic Journal (2026) · doi:10.2139/ssrn.7578883 · v1.0 |
0.0 (Flash Lite) | — |
| 440 | scored |
Learning Warrant and Public Trust in Education with Generative Artificial Intelligence
SSRN Electronic Journal (2026) · doi:10.2139/ssrn.7576879 · v1.0 |
0.0 (Flash Lite) | — |
| 441 | Відсіяно |
PETRYKIVKA NO BRASIL: UMA EXPERIÊNCIA INTERDISCIPLINAR ENTRE ARTE TRADICIONAL UCRANIANA, HISTÓRIA, DIDÁTICA E AS PERSPECTIVAS DA EDUCAÇÃO E DA ARTETERAPIA NA UEPG
Revista Conexao UEPG (2026) · doi:10.5212/rev.conexao.v.22.26965.040 · v1.0 |
2.0 (gemini-3.5-flash-lite) | — |
| 442 | scored |
Current Status and Future Trends in Campylobacter Detection and Quantification Across the Food Production Continuum
Pathogens (2026) · doi:10.3390/pathogens15101024 · v1.0 |
0.0 (gemini-3.5-flash-lite) | — |
| 443 | scored |
Segmentation-based quantitative characterization of cervical disc degeneration on midsagittal T2-weighted MRI: a retrospective internal evaluation
BMC Medical Imaging (2026) · doi:10.1186/s12880-026-02871-6 · v1.0 |
0.0 (gemini-3.5-flash-lite) | — |
| 444 | scored |
Designing the Future Forest: HCI Challenges and Opportunities in Forest 4.0
Nordic Conference on Human-Computer Interaction (2026) · doi:10.1145/3821402.3830138 · v1.0 |
0.0 (gemini-3.5-flash-lite) | — |
| 445 | Відсіяно |
INTEGRATING GENERATIVE AI INTO HEURISTIC APPROACHES TO FOREIGN LANGUAGE EDUCATION
Педагогічна інноватика: сучасність та перспективи. (2026) · doi:10.32782/ped-uzhnu/2026-13-1 · v1.0 |
2.6 (gemini-3.5-flash-lite) | — |
| 446 | scored |
Automated PESTEL-Based News Stream Analysis for SME Sustainability Assessment
Sustainability (2026) · doi:10.3390/su18199978 · v1.0 |
0.0 (gemini-3.5-flash-lite) | — |
| 447 | Відсіяно |
Cognitive Language-Learning Strategies, Perceived Risk, and ChatGPT Use Among Croatian University Students: An EFL-Focused Study
Education Sciences (2026) · doi:10.3390/educsci16101613 · v1.0 |
2.4 (gemini-3.5-flash-lite) | — |
| 448 | scored |
MORAL THREATS IN THE AGE OF ARTIFICIAL INTELLIGENCE AND MECHANISMS FOR THEIR PREVENTION
HSR (London) (2026) · doi:10.5281/zenodo.23067087 · v1.0 |
0.0 (gemini-3.1-flash-lite) | — |
| 449 | Не стаття |
compressed-ai-tutors: fidelity, confident error and inference energy under LLM compression
Zenodo (CERN European Organization for Nuclear Research) (2026) · doi:10.5281/zenodo.23066002 · v1.0 |
- | — |
| 450 | scored |
Neurocysticercosis in the Era of Artificial Intelligence Neuroanatomical Insights, Neuroimaging and Predictive Computational Neurology-Video
Zenodo (CERN European Organization for Nuclear Research) (2026) · doi:10.5281/zenodo.23058826 · v1.0 |
0.0 (gemini-3.1-flash-lite) | — |