arXiv cs.CL· Xiang Zhang, Lovedeep Gondara, Jekaterina Novikova·· 2 天前AI 评分39
当评审一致却出错：一致性-准确率解离成为无标签评估的盲区
When Judges Agree and Are Wrong: Consistency-Accuracy Dissociation as a Blind Spot for Label-Free Evaluation
AI 导读
研究直接检验了"一致性可代理正确性"这一无标签评估假设，使用四个金融问答数据集、十个一致性维度和两个前沿模型族，在单样本层面测量一致性与准确率的联合分布。结果显示，60% 的错误答案落在高一致性区域（一致性 ≥ 0.8），其中 77.7% 出现完全答案坍缩，即所有扰动变体给出相同错误答案。
正文 · AI 翻译
摘要：无标签评估方法，如自洽性过滤、多数投票聚合和基于一致性的可靠性评分，依赖于一个隐含假设：在无法获得真实标签或获取成本高昂时，一致性可以作为正确性的代理指标。本文直接检验这一假设。我们使用四个金融问答数据集（多项选择和自由形式）、十个一致性维度以及两个前沿模型系列，在单个样本层面而非聚合层面测量一致性与准确率的联合分布。我们发现，所有错误答案中有 60% 落在高一致性区域（一致性 $\geq$ 0.8），且其中 77.7% 表现为完全答案坍缩，即在所有扰动变体上给出完全相同的错误答案。这一高一致性/错误象限无法被任何仅基于一致性的评估信号检测到，因为模型在出错时却显得最为可靠。我们表明，该现象对一致性阈值 t 的选择具有稳健性（从 t=0.50 到 t=1.00 持续存在），在不同模型系列间普遍存在，并集中在扰动维度与领域的特定交叉处。我们绘制了该象限出现的位置，分析其稳定性特性，并讨论其对使用基于一致性信号替代人工标签的评估流程的影响。
| Subjects: | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.21128 [cs.CL] |
| （或 arXiv:2610.21128v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21128 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
发件人：Jekaterina Novikova 博士 [查看电子邮件]
[v1]
2026年10月15日星期四 02:33:30 UTC（927 KB）
来源：arXiv cs.CL · arxiv.org