arXiv cs.AI· Zhengyuan Fan, Zhonghua Wu, Tianyu Cheng, Qun Chen·· 10 小时前AI 评分31
奖励增益失衡如何影响排序:重新审视基于评分标准的奖励聚合
How Reward Gain Imbalance Shapes Ranking: Rethinking Rubric-Based Reward Aggregation
AI 导读
研究将评分标准间的分数异质性形式化为“奖励增益失衡”,发现即使使用真实标签消除这种失衡,反而会降低排序准确率。作者据此推导出候选奖励差的精确分解,并提出自适应双中心裁剪聚合(DCC),通过为各评分标准的分数差设定统一上界来限制极端分数影响,同时保留连续判断信息。
正文 · AI 翻译
摘要:基于评分标准的强化学习通过构建奖励来使大语言模型与人类偏好对齐,通常的做法是将评判者对各个标准给出的连续分数进行等权聚合。然而,各标准之间评分尺度的异质性可能会扭曲候选排序。现有工作主要集中于改进评判者、学习标准权重或优化聚合方式,而评分异质性与排序之间的相互作用仍未得到充分理解。我们将这种异质性形式化为\emph{奖励增益失衡}:每个标准以其自身的奖励增益进入聚合奖励,该增益即该标准在满足与不满足的回复上期望得分之间的差距。与直觉相反,我们的实验表明,消除这种失衡——即使使用真实标签——反而会降低排序准确率。为解释这一现象,我们推导出任意两个候选之间奖励差的精确分解,将其分解为基础满足信号、奖励增益失衡项和残差项,表明奖励增益失衡可以削弱或放大基础信号,并发现错误排序通常集中在失衡削弱基础信号的样本对上。基于这一分析,我们提出自适应\textbf{双中心裁剪}聚合方法(DCC),它通过限制每个标准对奖励差的贡献来约束其影响,而非简单地消除失衡。该方法仅使用当前候选组的分数,确定一个裁剪区间,对候选之间各标准的分数差施加统一上界,从而限制极端分数的过度影响,同时保留连续的评判信息。...
| 主题: | 机器学习(stat.ML);人工智能(cs.AI) |
| 引用为: | arXiv:2611.24005 [stat.ML] |
| (或使用 arXiv:2611.24005v1 [stat.ML] 查看此版本) | |
| https://doi.org/10.48550/arXiv.2611.24005 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Zhengyuan Fan [查看邮箱]
[v1]
2026年11月18日 星期三 07:56:58 UTC(71 KB)
来源:arXiv cs.AI · arxiv.org