arXiv cs.CL· Mateusz Modrzejewski, Tomasz Radzikowski·· 12 小时前AI 评分31
成对评估遗漏了什么：奖励分数在不同提示词间的差异
What Pairwise Evaluation Misses: Reward Scores across Prompts
AI 导读
成对评估只比较同一提示词下的两个回答，提示词共享的分数成分会被抵消而无法检验。研究提出基于提示词间方差占比、同源评分回归和提示词替换的人类参照审计方法，应用于18个已发布评分器和6组匹配训练条件；在 HelpSteer2 上，6个奖励模型的提示词间方差占比为 0.34 至 0.64，而人类评分接近零。
正文 · AI 翻译
摘要：奖励模型为偏好优化、过滤和排序对回复进行打分，而跨提示词汇总分数需要它们具有可比性。然而，成对评估比较的是对同一提示词的两个回复，因此同一提示词各回复共有的任何分数成分都会被抵消，从而无法被检验。我们通过比较模型分数在提示词之间的差异与人类对相同回复评分中的相同差异，来研究这一成分。我们提出一种以人类为参照的审计方法，基于提示词间方差占比、同组评分回归和提示词替换构建，并将其应用于十八个已发布的评分器和六个匹配的训练条件。我们发现，分数按提示词聚类的程度高于评分：在 HelpSteer2 上，六个奖励模型的提示词间占比为 0.34 至 0.64，而人类占比接近零。用固定指令替换原始提示词仍保持显著聚类，但削弱了与提示词级人类评分的一致性，因此仅凭聚类并不能表明与人类一致。这种变异中有一部分是有用的：减去提示词均值会降低全局所选回复的有用性，而且即使训练打乱了提示词均值，分数仍对错误提示词保持敏感。我们建议奖励评估应分别检查提示词间变异、对错误提示词的敏感性以及用于选择的有用性。
| 评论： | 31 页，5 幅图，33 张表 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.31090 [cs.CL] |
| （或 arXiv:2610.31090v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.31090 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Mateusz Modrzejewski [查看电子邮件]
[v1]
2026 年 10 月 22 日星期四 11:00:10 UTC（291 KB）
来源：arXiv cs.CL · arxiv.org