arXiv cs.CL· Jiazheng Zhang, Wenqing Jing, Zizhuo Zhang, Zhiheng Xi, Shihan Dou, Rongxiang Weng, Jiahuan Li, Jingang Wang, Mingxu Chai, Shibo Hong, Yuming Yang, Chenhao Huang, Tao Gui, Qi Zhang, Xuanjing Huang·· 11 小时前AI 评分31
双模型互审：面向 LLM 对齐的协作奖励建模框架 CRM
Two Minds Better Than One: Collaborative Reward Modeling for LLM Alignment
AI 导读
研究者提出协作奖励建模框架 CRM，让两个奖励模型互相评审对方的样本选择，并结合课程学习保持学习进度同步，从而在线识别可靠偏好。在 40% 偏好噪声下，CRM 将奖励模型在 RewardBench 上的泛化能力最高提升 9.94 分。该框架还可推广到隐式奖励对齐，为从不完美反馈中学习提供通用方案。
正文 · AI 翻译
作者：Jiazheng Zhang、Wenqing Jing、Zizhuo Zhang、Zhiheng Xi、Shihan Dou、Rongxiang Weng、Jiahuan Li、Jingang Wang、Mingxu Chai、Shibo Hong、Yuming Yang、Chenhao Huang、Tao Gui、Qi Zhang、Xuanjing Huang
摘要：奖励模型（RM）是将大语言模型（LLM）与人类价值观对齐的核心，但带有噪声的偏好反馈会通过虚假相关和过拟合导致奖励误泛化。我们刻画了偏好对的训练动态，并发现了噪声的一种独特优化特征：持续的高损失、剧烈的时间波动以及不规则的梯度更新。我们的分析进一步表明，排除此类偏好对可以改善下游对齐。然而在实践中，可靠的偏好并非先验已知，而基于模型自身训练信号的自过滤可能会放大确认偏差。为应对这一挑战，我们提出了协同奖励建模（CRM），一种用于识别可靠偏好的在线框架。CRM 将跨模型同行评审与课程学习相结合：两个 RM 相互评估对方的样本选择，而课程学习则保持二者的学习进度同步。在大量实验中，在 40% 偏好噪声下，CRM 在 RewardBench 上将 RM 的泛化能力提升最多 9.94 分。CRM 还可推广到隐式奖励对齐，为从不完美反馈中学习提供了一种稳健且广泛适用的方法。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2505.10597 [cs.LG] |
| （或本版本的 arXiv:2505.10597v3 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2505.10597 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Mingxu Chai [查看邮箱]
[v1]
2025年5月15日星期四 10:58:20 UTC（4,803 KB）
[v2]
2025年5月19日星期一 03:28:14 UTC（6,702 KB）
[v3]
2026年10月16日星期五 12:42:25 UTC（5,227 KB）
来源：arXiv cs.CL · arxiv.org