arXiv cs.CL· Haram Choi·· 10 小时前AI 评分18
未筛选 NLI 人群中的单调性与标签一致性：一项复现研究
Selection Shapes the Boundary: A Replication of Monotonicity and Label Agreement in Unselected NLI Populations
AI 导读
一项预注册复现研究在 SNLI 和 MultiNLI 开发集上检验 ChaosNLI 的单调性边界，结果计划预测失败：全部七组对比的 Cliff's delta 均为正，非向上单调性条目的标签一致性略高而非略低，唯一显著的验证性对比方向与预期相反，且所有效应均远低于 0.10 的最小关注效应量。
正文 · AI 翻译
摘要：此前关于自然语言推理（NLI）中人类标签变异（HLV）的研究，往往依赖按分歧程度挑选条目的重新标注资源。一项早期研究（Choi, 2026, arXiv:2607.15870）发现，在 ChaosNLI 中，包含非向上单调性算子的假设表现出略高的标签熵（Cliff's delta = -0.284），该研究报告称这一差异对标注器误差敏感。在其 SNLI 和 MultiNLI 部分，ChaosNLI 仅对多数标签恰好获得五票中三票的条目进行重新标注。我们在 ChaosNLI 所抽取的未筛选总体中复现这一边界。我们使用 SNLI 和 MultiNLI 开发集，采用相同的算子标注器和四级序数一致性结果，并遵循分析前已冻结在工作仓库中的计划。计划中的预测未得到支持。全部七组对比均返回正的 Cliff's delta（非向上条目的一致性略高，而非更低），唯一显著的验证性对比与计划方向相反，且所有效应均远低于我们关注的最小效应量（0.10）。稳健性检验支持该测量：模拟的标注器误分类会缩小效应而非制造效应，人工重新标注审计在全新的 200 条样本上达到 0.875 的四类一致性。我们得出结论：此前的负向边界很可能是以低一致性筛选为条件的结构，而非总体层面的属性；基于筛选后重新标注资源的 HLV 结构主张应明确说明其筛选条件。
| 评论： | 11 页，2 幅图，9 张表。采用分析前冻结计划的复现。代码、数据与审计轨迹：此 https URL |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2607.19231 [cs.CL] |
| （或 arXiv:2607.19231v2 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2607.19231 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Haram Choi [查看邮箱]
[v1]
2026 年 7 月 21 日星期二 16:03:05 UTC（46 KB）
[v2]
2026 年 10 月 31 日星期六 11:23:17 UTC（47 KB）
来源：arXiv cs.CL · arxiv.org