arXiv cs.CL· Sangdo Han, Moonsoo Kim·· 6 天前AI 评分32
无标签评分标准澄清提升 LLM 评审员共识，却未拉近与人类的一致性
Agreement Without Alignment: Label-Free Rubric Clarification Increases LLM-Judge Consensus but Not Agreement with Humans
AI 导读
一项无标签流程将评审员分歧转化为评分标准修订：把每条标准拆成子标准，按跨评审员分歧排序，仅让编辑模型改写争议最大的条款。在 SummEval 上，该流程使评审员间 Krippendorff's α 较原始标准提升 0.069（95% CI 0.046–0.092），较随机条款对照组提升 0.074，但与专家评分的一致性无显著变化（Kendall τ 差异 -0.007）。
正文 · AI 翻译
摘要：LLM 评审员越来越多地以评审小组的形式部署，而小组成员之间的分歧往往被解读为评分标准不清晰的症状。我们测试了一种无标签流程，将这种分歧转化为评分标准的修订。该流程将每个评分标准分解为子标准，按开发集上评审员之间的分歧对它们进行排序，并让编辑模型仅重写争议最大的那些子标准。另一个阶段将可文本检查的子标准移至确定性检查器，但在我们的评估中未能转移任何子标准。人工标签从未用于选择或编辑条款；它们仅用于评估结果。我们在版本控制的协议中预先指定了四个假设，并在 SummEval、HealthBench 元评估和 USR Topical-Chat 上，使用来自三个提供商的五名评审员组成的小组评估了六种评分标准条件，共计 129,770 次评审请求（不含重试）。在 SummEval 上，该流程将评审员间 Krippendorff's $\alpha$ 相比原始评分标准提高了 0.069（95% CI 0.046 至 0.092），相比将相同编辑应用于同等数量随机选择（而非被选中）条款的对照组提高了 0.074。与专家评分的一致性未显示出可检测的变化（Kendall $\tau$ 差异 -0.007，95% CI -0.037 至 0.021）。在 HealthBench 和 USR 上，评审员间一致性和人类一致性均未达到预注册的效应标准。在一项预注册的次要比较中，编辑争议条款后的人类一致性在三个数据集上的点估计均低于编辑对照条款后，尽管没有区间排除零。按分歧选择条款使评审员之间比编辑任意条款更能达成一致，但在我们的设定中，这种增加的共识并未使评审员更接近人类标注者。我们将发布代码、冻结的评分标准、条目标识符和评审员评分。
| 评论： | 12 页，12 张表 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.13303 [cs.CL] |
| （或 arXiv:2610.13303v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13303 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Sangdo Han [查看电子邮件]
[v1]
2026 年 10 月 9 日星期五 09:49:31 UTC（48 KB）
来源：arXiv cs.CL · arxiv.org