arXiv cs.CL· London Lowmanstone IV, Vaagishwaran Sivakumar, Anwesha Samaddar, Akul Mundada, Harnoor Kaur, Maria Gini·· 11 小时前AI 评分24
视角主义模型对哪些标注者预测更准？标注者一致性、稀疏性与性能分析
Who Do Perspectivist Models Predict Well? Annotator Agreement, Sparsity, and Performance
AI 导读
研究构建了迄今最大的带序数标注的视角主义 NLP 数据集集合，并评估多类视角主义算法后发现：算法对倾向于与他人一致的标注者预测更好，而标注者的响应数量与算法性能之间不存在统计显著的正相关。
正文 · AI 翻译
摘要：要成功完成视角主义自然语言处理（NLP）标注任务，需要算法在多样化的视角之间保持一致，从而预测不同人类会如何评价文本。本文研究当标注者行为与他人不同时，这类算法的性能会如何变化——这些差异表现为其提供的标注与他人回答不一致，或提供的标注数量更少。为帮助刻画模型性能，我们整理了迄今为止规模最大的带有序数标注的视角主义 NLP 数据集集合。在每个数据集上评估多类视角主义算法之后，我们对单个标注者的特异行为与算法性能之间的关系进行建模。总体而言，我们发现算法在倾向于与他人意见一致的标注者上表现更好，但标注者的响应率与算法性能之间并不存在统计上显著的正相关。
| 评论： | 24 页，9 幅图，5 张表 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.22567 [cs.CL] |
| （或 arXiv:2610.22567v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22567 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：London Lowmanstone [查看电子邮件]
[v1]
2026 年 10 月 15 日星期四 19:12:48 UTC（365 KB）
来源：arXiv cs.CL · arxiv.org