研究提出奖励模型跨提示变异审计方法

Mateusz Modrzejewski 与 Tomasz Radzikowski 提出一种以人类评分为参照的奖励模型审计方法，用于检验奖励分数在不同提示词之间的差异。他们称，常规成对评估只比较同一提示词下的两个回答，提示词共享的分数成分会被抵消，因而无法检验这类差异。 该方法由提示词间方差占比、同源评分回归和提示词替换三部分组成，已应用于18个已发布评分器和6组匹配训练条件。在 HelpSteer2 上，6个奖励模型的提示词间方差占比为 0.34 至 0.64，而人类评分接近零。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。