assessment_design

Human Agreement and Return Association Are Not Interchangeable Criteria

Автори: AS Aravinthakshan, Laven Srivastava, Harsh Nandwani
Видання / Джерело: arXiv (2026)

Чи справді інструменти, що найкраще розуміють людські емоції, здатні передбачати майбутнє ринків?

Суть дослідження (TL;DR)

Простими словами Словами дослідження

Дослідники перевірили, чи працюють інструменти аналізу настроїв, які демонструють гарні результати на розмічених людьми наборах даних, у прогнозуванні руху фондового ринку. Вони з'ясували, що інструменти, які найбільше узгоджуються з оцінками людей, не обов'язково найкраще передбачають майбутні зміни на ринку. Дослідження доводить, що вибір інструменту аналізу настроїв виключно на основі точності відносно людини може призвести до оманливих або нестабільних результатів у реальному фінансовому прогнозуванні.

Це дослідження перевіряє, чи узгодженість із людською оцінкою настроїв (конструктна валідність) прогнозує ефективність ринкових сигналів (прогностична валідність) для п'яти інструментів аналізу настроїв. Використовуючи 70 500 повідомлень у соціальних мережах, прив'язаних до подій, робота демонструє, що семантична узгодженість не є надійним показником для визначення прогностичного ранжування. Результати показують, що зв'язок між цими двома видами валідності значною мірою залежить від конвенцій вибірки, представлення оцінок і часових горизонтів.

Анотація авторів (оригінал)

Financial NLP has a standard workflow: validate a sentiment tool against human labels, then trust it to extract market signal. This assumes the two evaluations measure the same thing. We test that assumption in a setting where both can be measured at once: a corpus of securities class actions (2002-2025) linking 70,500 X messages to abnormal stock returns, with a single-annotator human labelled gold sample. Running five instruments (VADER, Loughran-McDonald, FinBERT, Twitter-RoBERTa, and an LLM annotator) through one identical pipeline, we find that the relationship between construct and predictive validity depends on the sampling convention and score representation. Under conventional method-specific sampling, human agreement aligns more closely with graded same-day associations than with one-day leads. On a fixed-n panel, however, agreement has similar graded rank correlations at both horizons, while the coarse ordering remains weak. Benchmark agreement therefore establishes semantic validity but does not by itself determine predictive rankings. In a conversation that is 17.6% spam, message volume predicts neither market damage nor settlement size.

Переклад анотації не надається.

Оцінка за критеріями якості та релевантності

Новизна

8.0/10

Методологічна строгість

8.0/10

Інженерні контрзаходи

5.0/10

Виклик консенсусу

5.0/10

Тематична відповідність

7.0/10

Методологія та вибірка

Набір даних із 70 500 повідомлень, пов'язаних із подіями, у межах 845 судових позовів щодо цінних паперів (2002–2025 роки). Дослідження порівнює п'ять інструментів аналізу настроїв: VADER (лексикон), Loughran–McDonald (фінансовий словник), FinBERT (трансформер), Twitter-RoBERTa (трансформер) та Claude Haiku (велика мовна модель). Золотий стандарт валідації був перевірений на підмножині із 400 повідомлень.

Чому варто прочитати

Стаття надає суворе методологічне застереження про те, що узгодженість із стандартним бенчмарком — звичайна практика в оцінюванні ШІ — не є показником результативності в реальних завданнях. Це відкриття безпосередньо стосується освітніх оцінювань, де використовуються ШІ для автоматизованого оцінювання або аналізу відгуків студентів.

Головні твердження та перевірені цитати

Узгодженість із бенчмарком (конструктна валідність) сама по собі не визначає ефективність інструменту для прогностичного ранжування (прогностична валідність).

Оригінал: “Benchmark agreement therefore establishes semantic validity but does not by itself determine predictive rankings.”
Орієнтовний переклад: “Таким чином, згода з еталоном встановлює семантичну валідність, але сама по собі не визначає прогностичні ранжування.”^{* (машинний переклад)} — 10.48550/arxiv.2609.11144, с. 1, абз. 10 (exact)

Зв'язок між конструктною та прогностичною валідністю залежить від методів вибірки, представлення результатів та обробки днів із нульовим показником настрою.

Оригінал: “The relationship between construct and predictive validity therefore depends on horizon, representation, and the treatment of zero-score days.”
Орієнтовний переклад: “Отже, взаємозв'язок між конструктною та прогностичною валідністю залежить від часового горизонту, представлення та способу обробки днів з нульовим балом.”^{* (машинний переклад)} — 10.48550/arxiv.2609.11144, с. 2, абз. 4 (exact)

Аналіз настроїв на основі змісту надає прогностичний сигнал там, де обсяг повідомлень цього не робить.

Оригінал: “Content is informative where volume is not, despite systematic pollution; message volume predicts neither the depth of the price decline nor dollar settlement size.”
Орієнтовний переклад: “Контент є інформативним там, де обсяг таким не є, попри систематичне «забруднення»; обсяг повідомлень не прогнозує ані глибини падіння ціни, ані розміру грошового врегулювання.”^{* (машинний переклад)} — 10.48550/arxiv.2609.11144, с. 2, абз. 6 (exact)