arXiv cs.CL· Zixuan Xu, Haoxuan Chen, Jiangxin Sun, Jian-Fang Hu·· 12 小时前AI 评分20
GPDPO：通过组帕累托支配策略优化从奖励冲突中学习
GPDPO: Learning from Reward Conflicts via Group Pareto-Dominance Policy Optimization
AI 导读
研究者提出多奖励策略优化方法 GPDPO，从被冲突过滤的 rollout 中挖掘采样回复间的帕累托支配关系，转化为辅助偏好信号并与原策略目标联合优化，无需额外采样或奖励评估即可复用现有 rollout。在 API-Bank 上跨多个模型规模和奖励配置的实验显示，GPDPO 持续优于现有多奖励优化基线，并降低了组内相对与成对奖励冲突。代码将开源。
正文 · AI 翻译
摘要：多奖励强化学习为将大语言模型（LLM）与多样化目标对齐提供了一个有前景的框架，但相互冲突的奖励信号可能引发模糊的更新方向，并阻碍稳定优化。现有方法通过奖励重加权、梯度协调或 rollout 过滤来处理此类冲突，但它们主要作用于逐响应或组级别的优化信号，未能充分利用采样响应之间的关系信息。因此，经过冲突过滤的 rollout 可能仍包含在训练过程中被丢弃的有用监督信息。我们提出组帕累托支配策略优化（GPDPO），这是一种多奖励策略优化方法，可从经过冲突过滤的 rollout 中恢复成对监督信息。GPDPO 识别采样响应之间的帕累托支配关系，并将其转换为辅助偏好信号，与原始策略目标联合优化。这能够更有效地复用现有 rollout，而无需额外采样或奖励评估。在 API-Bank 上跨多个模型规模和奖励配置的实验表明，GPDPO 始终优于具有竞争力的多奖励优化基线。进一步分析表明，GPDPO 减少了组相对和成对的奖励冲突，支持了利用关系监督进行多奖励对齐的有效性。代码将发布。
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.35480 [cs.LG] |
| （或 arXiv:2610.35480v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.35480 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Haoxuan Chen [查看电子邮件]
[v1]
2026年10月26日星期一 14:11:28 UTC（321 KB）
来源：arXiv cs.CL · arxiv.org