The Phantom Hierarchy: How Scientifically Invalid AI IQ Scores Acquire Authority and Cause Real Harm
Автори: Franny Philos Sophia
Видання / Джерело: Zenodo (CERN European Organization for Nuclear Research) (2026)
Твердження про те, що модель ШІ має певний показник IQ, є математично недійсним, оскільки стандартизовані тести забезпечують нульову точність вимірювання на високих рівнях здібностей.
Головне з роботи
- Теорія тестування (IRT) показує, що тести інтелекту надають нехтовно малу інформацію для вимірювання на екстремальних рівнях здібностей, де нібито працює ШІ.
- Стандартна N-грамна фільтрація не запобігає структурному забрудненню, оскільки моделі під час навчання вивчають глибокий логічний ізоморфізм сімейств головоломок.
- Припущення про позитивний маніфольд не працює для великих мовних моделей, чиї неоднорідні профілі продуктивності роблять неможливим використання єдиних балів для виведення загального когнітивного потенціалу.
- Оцінювання ШІ має зміститися від нормативних рейтингів людського IQ до критеріально-орієнтованих Угод про рівень послуг із фальсифікованими цілями.
Суть дослідження (TL;DR)
Анотація авторів (оригінал)
Large language models are routinely reported as achieving "IQ 120" or "above-averagehuman intelligence," and these claims are widely received as evidence of progress towardartificial general intelligence. This paper argues that such claims are scientifically groundless onthree independent levels and that their circulation produces concrete harm.At the level of instrumentation, Item Response Theory demonstrates that standard IQtests provide negligible measurement information in the ability range where AI is claimed tooperate. At the level of ontology, cloud-based AI systems lack the temporal stability, individualboundedness, and trait-like constancy required for psychometric attribution. At the level ofinstitutional purpose, IQ tests were designed as clinical doorway diagnostics for supportallocation, not as competitive benchmarks; their appropriation by the AI industry inverts aprotective tool into a ranking device.Despite this triple failure, AI IQ scores command epistemic authority. This paperidentifies the responsible mechanisms: anthropomorphic interface design generates a PhantomSubject to whom traits can be attributed; the cultural prestige of intelligence amplifies the scores'significance; and a normative drift transforms the statistical median into a minimum standard forcompetence. Together, these mechanisms produce the Phantom Hierarchy: a socially operativebut scientifically unfounded ranking of minds.The paper documents harms already produced by this hierarchy, including the conversionof clinical thresholds into social ceilings, the creation of hidden cognitive entrance exams inAI-mediated services, and the Logic Trap—a failure mode in which AI optimization forhelpfulness amplifies despair. The paper concludes by proposing criterion-referenced ServiceLevel Agreements as an alternative evaluation framework.
Переклад анотації не надається.
Оцінка за критеріями якості та релевантності
Тематична релевантність для освітян
- Безпосередньо стосується аргументів щодо валідності (Кейн/Мессік) відносно того, що означають бали тестів, коли генеративний ШІ складає або спотворює оцінювання.
- Застосовує інформаційні функції теорії тестування (IRT) для виділення обмежень у моделюванні можливостей машини порівняно з можливостями людини.
- Демонструє, як структурний ізоморфізм підриває валідність конструкту та процедури забруднення елементів в оцінюванні ШІ.
Методологія та вибірка
Теоретичне психометричне моделювання в рамках двопараметричної логістичної моделі (2PL) теорії тестування (IRT), концептуальний онтологічний синтез та якісний аналіз режимів відмови ШІ на основі чотирьох інтегрованих досліджень, що охоплюють такі системи, як OpenAI GPT-4 та ChatGPT.
Чому варто прочитати
Ця стаття забезпечує сувору психометричну критику оцінювання великих мовних моделей, показуючи, як валідність конструкту, валідність процесу та припущення теорії тестування (IRT) руйнуються, коли стандартні тести людини застосовуються до генеративного ШІ. Фахівці з оцінювання та університетські дослідники отримають формальний словник для спростування необґрунтованих тверджень про можливості ШІ та впровадження належних критеріально-орієнтованих фреймворків оцінювання.
Головні твердження та перевірені цитати
Орієнтовний переклад: “На гіпотетичних рівнях здібностей штучного інтелекту (θ ≥ +4) інформація наближається до нуля, що унеможливлює надійне вимірювання.”* (машинний переклад) — 10.5281/zenodo.18849483, с. 7, абз. 3 (exact)
Орієнтовний переклад: “Деконтамінація n-грам, якими б ретельними вона не була, категорично не здатна усунути структурну контамінацію.”* (машинний переклад) — 10.5281/zenodo.18849483, с. 8, абз. 1 (exact)
Обмеження та особливості дослідження
- Мала вибірка: не згадано в тексті
- Нерепрезентативна вибірка: не згадано в тексті
- Єдиний детектор: не згадано в тексті
- Немає змагального тестування: не згадано в тексті
- Лише одна мова: не згадано в тексті
- Дослідження є переважно теоретичним і концептуальним синтезом, а не емпіричним психометричним бенчмарком у великій когорті моделей.
- Запропоновані цілі рівня послуг є концептуальними інженерними настановами, а не програмною реалізацією з відкритим кодом.
- підтримує Фундаментальна відмінність між рисою та станом зникає для систем, які виводять результати стохастично. «The distinction between "trait" and "state" (Borsboom, 2005), which is foundational to psychometric theory, dissolves for a system whose outputs are stochastic by design.», с. 11, абз. 13
- [метрика / концептуальна невідповідність]: Застосування нормативних тестів IQ людини до великих мовних моделей порушує межі інформації IRT та припущення валідності конструкту, оскільки виводи моделей відображають пошук за патернами, а не людське рухливе міркування.
- [метод / прогалина в протоколі оцінювання]: Стандартні фільтри деконтамінації N-грам виявляють лише збіги поверхневого тексту, залишаючи бенчмарки сліпими до глибокого логічного ізоморфізму в навчальних даних моделі.