arXiv cs.CL· Tim Menzner, Jochen L. Leidner·· 13 小时前AI 评分18
Multi-Label Agreement：面向多标签标注者间信度的灵活框架
Multi-Label Agreement: A Flexible Framework for Inter-Annotator Reliability
AI 导读
研究者提出 Multi-Label Agreement（MLA）框架，用于评估多标签标注任务中的标注者间信度，保留每个条目的完整二值标签向量并采用平均成对 Hamming 一致度，同时计入共同选中与共同遗漏。
正文 · AI 翻译
摘要：可靠地评估标注者间一致性（IAA）对于评估标注过程的一致性十分重要。虽然 Cohen's kappa、Fleiss' kappa 和 Krippendorff's alpha 等成熟的 IAA 指标通常应用于单标签场景，但多标签任务还需要就如何比较完整标签集、联合选择和联合遗漏做出额外决定。
在本工作中，我们提出了多标签一致性（MLA），这是一个用于评估多标签标注任务一致性的灵活框架。MLA 保留分配给每个条目的完整二值标签向量，并使用平均成对汉明一致性，从而同时考虑联合选择和联合遗漏。其合并边际形式并非数学上独立的系数：它是按机会不一致加权的逐标签 Fleiss/Scott 型系数的平均值，并与采用归一化汉明距离的 Krippendorff's alpha 密切相关。该框架支持合并边际、Gwet AC1 和固定基线归一化，可给出条目级、标签级和语料级结果，并包含条件最小一致性诊断。通过一个示例和蒙特卡洛模拟，我们展示了所得数值如何取决于标签流行度、声明的标签清单以及所选的期望一致性模型。我们还提供了 Python 实现。因此，MLA 为多标签一致性分析提供了一个透明且可解释的框架，但并未声称某一种归一化具有普遍优越性。
| 主题： | 计算与语言（cs.CL） |
| ACM 分类： | G.3；I.2.6；I.2.7 |
| 引用为： | arXiv:2610.37292 [cs.CL] |
| （或此版本的 arXiv:2610.37292v1 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2610.37292 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Tim Menzner [查看电子邮件]
[v1]
2026年10月27日星期二 14:15:12 UTC（209 KB）
来源：arXiv cs.CL · arxiv.org