arXiv cs.CL· Yinuo Xu, David Jurgens·· 11 小时前AI 评分26
超越共识：NLP 中标注者分歧的视角主义建模与评估综述
Beyond Consensus: Perspectivist Modeling and Evaluation of Annotator Disagreement in NLP
AI 导读
一篇被 EMNLP 2026 接收的综述系统梳理了 NLP 中标注者分歧感知方法，提出跨数据、任务与标注者三类因素的分歧来源分类体系，并用统一的预测目标与池化结构框架归纳建模路径，指出研究正从共识学习转向显式建模分歧及标注者间结构关系。文章还回顾了预测性能与标注者行为两类评估指标，并指出多数公平性评估仍停留在描述性层面而非规范性判断。
正文 · AI 翻译
摘要：标注者分歧在 NLP 中普遍存在，尤其是在毒性检测和立场分析等主观且模糊的任务中。早期方法将分歧视为需要去除的噪声，而近期研究越来越多地将其建模为反映解释和视角差异的有意义信号。本综述提供了分歧感知 NLP 方法的统一视角。我们首先提出一个与领域无关的分歧来源分类法，涵盖数据、任务和标注者因素。然后，我们使用由预测目标和池化结构定义的通用框架综合建模方法，强调从共识学习向显式建模分歧、以及向捕捉标注者之间结构化关系的转变。我们回顾了针对预测性能和标注者行为的评估指标，并指出大多数公平性评估仍是描述性的而非规范性的。最后，我们指出了开放挑战和未来方向，包括整合多种变异来源、开发分歧感知的可解释性框架，以及应对视角主义建模的实际权衡。
| 评论： | 已被 EMNLP 2026 接收 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2601.09065 [cs.CL] |
| （或 arXiv:2601.09065v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2601.09065 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yinuo Xu [查看邮箱]
[v1]
2026年1月14日星期三 01:26:29 UTC（263 KB）
[v2]
2026年1月17日星期六 17:58:09 UTC（268 KB）
[v3]
2026年10月16日星期五 16:39:26 UTC（270 KB）
来源：arXiv cs.CL · arxiv.org