arXiv cs.CL· Emily \"Ohman, Anna Koufakou, Eugenia Diegoli·· 10 小时前AI 评分23
情绪标注中的分歧结构研究
The Structure of Disagreement in Emotion Annotation
AI 导读
一项基于《老人与海》1,677 个句子级多标签标注、并在 BRIGHTER 和 GoEmotions 个体标注上验证的研究，识别出三种反复出现的标注分歧结构：情绪类别系统性重叠、标注者对标签宽窄和类别边界处理不同，以及稀疏参与和显式弃权被误当作分歧。
正文 · AI 翻译
摘要：计算标注者间一致性是 NLP 中的既定做法，而关注分歧的研究越来越倾向于保留人类判断的分布，而不是将标注简化为单一金标准标签。然而，保留分布并不能解释标注者为何产生分歧。本文考察情感标注中出现的分歧类型，从对欧内斯特·海明威《老人与海》中 1,677 个句子级单元的多标签标注出发，并用 BRIGHTER 和 GoEmotions 的个体级标注检验其揭示的模式。在三个数据集中，我们发现三种主要的重复性分歧结构。情感类别存在系统性重叠；标注者在标签应用范围的宽窄以及对特定类别边界的处理上存在差异，而稀疏参与和明确弃权可能看起来像分歧。在评定强度时，关于情感是否存在的分歧可以与情感被识别后关于其强度的分歧区分开来。因此，相似的总体分歧可能源于性质不同的标注过程。硬聚合去除了大部分此类结构，而标注者投票份额表示保留了边际标签频率，但未保留产生这些频率的共现、标注者特定或程序性模式。我们认为，在总结、聚合或将分歧用作建模目标之前，应依据其底层模式来理解分歧，并提出了一套描述分歧结构的词汇。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.01539 [cs.CL] |
| （或 arXiv:2611.01539v1 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.01539 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Emily Ohman [查看电子邮件]
[v1]
2026年11月1日星期日 04:10:46 UTC（694 KB）
来源：arXiv cs.CL · arxiv.org