arXiv cs.CL· Qinglin Su, Licheng Pan, Zhen Fang, Jiakang Wang, Qingnan Ren, Yunsheng Lu, Yan Gao, Zhixuan Chu·· 3 天前AI 评分22
RM-OPD：用在线策略蒸馏训练生成式奖励模型
RM-OPD: On-Policy Distillation for Generative Reward Models
AI 导读
RM-OPD 是一个两阶段框架，先通过单域 GRPO 微调培养领域专家教师模型，再用路由在线策略蒸馏、领域贡献重加权和可选的评估标准上下文蒸馏，将多个教师整合为单一学生模型。在多个 RM benchmark 和两个基座模型上，RM-OPD 一致优于原生 Mix-RL 及其他强基线，并出现"教师超越"效应。
正文 · AI 翻译
摘要：混合领域偏好数据上的强化学习（Mix-RL）已成为训练通用生成式奖励模型（GRMs）的主流方法。然而，Mix-RL 存在两个关键瓶颈：由结果奖励引起的奖励稀疏性，以及由联合优化异构能力产生的跨领域干扰，二者共同导致能力获取不均衡和普遍存在的奖励黑客行为。受 On-Policy Distillation（OPD）在多领域能力整合中取得成功的启发，我们提出了 RM-OPD（Reward Modeling via On-Policy Distillation），一个将专家能力获取与能力整合分离的两阶段框架。首先，我们通过单领域 GRPO 微调培养领域专用教师模型，使每个专家在孤立环境下达到其性能上限；然后我们通过以下方式将这些教师整合为一个学生模型：（i）路由式同策略蒸馏，在学生生成的评论上提供密集的带符号 token 级监督；（ii）领域贡献重加权，将 token 指导重新加权至目标领域份额，防止特定领域主导优化；（iii）可选的评价标准上下文蒸馏，使教师以领域特定评价标准为条件，从而锐化 token 级监督。在多个 RM 基准和两个基础模型上，RM-OPD 始终优于原始 Mix-RL 和其他强基线，实现了整体更优的性能，并展现出一种涌现的“超越教师”效应。这些结果确立了 RM-OPD 作为构建通用 GRMs 的一种有前景的范式。
| 评论： | 34 页，4 幅图；包含参考文献和附录 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.20174 [cs.LG] |
| （或 arXiv:2610.20174v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.20174 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Qinglin Su [查看邮箱]
[v1]
2026年10月14日星期三 13:20:55 UTC（717 KB）
来源：arXiv cs.CL · arxiv.org