arXiv cs.CL· Himarsha R. Jayanetti, Sivakanesan Dhanushkanda, Shuai Hao, Michael L. Nelson, Michele C. Weigle·· 10 天前AI 评分22
研究：人类、专用工具与 LLM 在社交媒体情感分析上难以达成一致
Nobody Truly Agrees on Sentiment: Humans, Bespoke Tools, and LLMs Struggle with Social Media Texts
AI 导读
一项研究用 100 条推文对比 TextBlob、VADER、Twitter-roBERTa-base 与 Qwen3-32B、GPT-OSS-120B、Llama-4-Maverick-17B 及六名人类标注者的情感判断一致性。
正文 · AI 翻译
摘要：社交媒体是实时公众情绪的重要来源，但广泛使用的情感分析工具往往在未了解其局限性的情况下被应用。在本研究中，我们针对 100 条推文，评估了三种专用情感分析工具（TextBlob、VADER 和 Twitter-roBERTa-base）以及三种大语言模型（LLM：Qwen3-32B、GPT-OSS-120B、Llama-4-Maverick-17B）与六位人类评分者之间的评分者间信度。我们使用两种统计指标衡量一致性：用于两两比较的 Cohen's kappa 和用于多位评分者的 Fleiss' kappa。即使在人类评分者之间，我们的结果也仅显示出中等一致性，凸显了情感分析的主观性。在人类和自动化工具中，二元情感分类（负面 vs. 非负面，以及正面 vs. 非正面）下观察到的一致性均高于三分类。Twitter-roBERTa-base 模型与人类评分的一致性最强，优于专用情感分析工具和 LLM，尤其是在区分负面与非负面情感方面。LLM 之间表现出高度一致性，与人类之间则表现出中等至高度一致性，在正面 vs. 非正面分类中表现更好。我们的发现强调，领域特定的微调对于可靠的社交媒体情感分析仍然至关重要，而以人为中心的评估对于建立金标准标签仍然必不可少。
| 评论： | 11 页，1 幅图，2 张表，已被 TPDL 2026 接收发表 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.10318 [cs.CL] |
| （或 arXiv:2610.10318v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.10318 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Himarsha R Jayanetti [查看电子邮件]
[v1]
2026 年 10 月 7 日星期三 16:11:12 UTC（247 KB）
来源：arXiv cs.CL · arxiv.org