arXiv cs.CL· Haram Choi (University of Bremen)·· 9 天前AI 评分17
形式语义结构能解释多少人类标注差异？NLI 中的组级效应与条目级上限
How Much Human Label Variation Does Formal Semantic Structure Explain? Group-Level Effects and Item-Level Ceilings in NLI
AI 导读
研究用规则化单调性标注器为 ChaosNLI 中 SNLI 和 MNLI 条目（每条 100 位标注者）打标，检验否定、量化、单调性等形式语义结构是否影响标注者分歧。组级上非纯向上单调的假设分歧略多，但该差异对标注器误差敏感；条目级上形式结构仅解释几个百分点的变异，无法识别高分歧条目。VariErr 与 LiTEx 记录的分歧类型在形式边界上无可检测差异，形式结构只是权重有限的分歧来源之一。
正文 · AI 翻译
作者：Haram Choi（University of Bremen）
摘要：自然语言推理（NLI）中的人类标签差异正日益被视为一种需要测量的信号，而非需要消除的噪声。我们追问，该信号的一个可能来源——形式语义结构，如否定、量化和单调性——是否会改变标注者分歧的程度以及分歧的内容。我们用基于规则的单调性标注器对 ChaosNLI 中由 100 位标注者分别标注的 SNLI 和 MNLI 条目进行标注，并在同一批条目的样本上人工检查该标注器，进而回答三个问题。在群体层面，并非纯向上单调的假设会吸引略多的分歧，但误差敏感性分析表明这一差异对标注器误差敏感。在条目层面，形式结构只能解释几个百分点的变异，且无法识别出吸引高分歧的条目。在组合层面，VariErr 和 LiTEx 所记录的分歧类型在形式边界两侧没有可检测的差异。因此，形式结构应被纳入分歧来源的清单，但其权重很小且有限。ChaosNLI 由低一致性条目构建而成，所有结论均在该范围内成立。分析决策在相应结果计算之前已写入受版本控制的研究日志，负面结果也完整报告。
| 评论： | 16 页，3 幅图。v2 为大幅修订；v3 仅更新摘要和评论以与 v2 一致，正文未变。代码和预注册分析日志：此 https URL |
| 主题： | 计算与语言（cs.CL） |
| ACM 分类： | I.2.7 |
| 引用为： | arXiv:2607.15870 [cs.CL] |
| （或 arXiv:2607.15870v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.15870 由 DataCite 颁发的 arXiv DOI |
提交历史
发件人：Haram Choi [查看电子邮件]
[v1]
2026 年 7 月 17 日星期五 11:34:30 UTC（45 KB）
[v2]
2026 年 9 月 30 日星期三 08:39:29 UTC（87 KB）
[v3]
2026 年 10 月 8 日星期四 05:03:28 UTC（87 KB）
来源：arXiv cs.CL · arxiv.org