arXiv cs.CL· Xiangchi Yuan, Xingjian Diao, Zheyuan Liu, Chunhui Zhang, Dachuan Shi, Kejing Xia, Zhenbang Du, Shenglong Yao, Soroush Vosoughi, Wenke Lee·· 12 小时前AI 评分31
PAPO：面向多奖励策略优化的优先级保持优势聚合方法
Priority-Preserving Advantage Aggregation for Multi-Reward Policy Optimization
AI 导读
针对 RL 中加性奖励聚合可能出现的“优势优先级反转”问题，研究者提出优先级感知的优势聚合方法 PAPO，在主辅优势一致时保留辅助监督、冲突时平滑衰减辅助信号，融合中保持主目标符号。该方法适用于 GRPO 的序列级优势和 actor-critic PPO 的 token 级优势，在多个领域和模型上均取得最佳主目标表现，同时辅助目标保持最佳或具竞争力，代码已开源。
正文 · AI 翻译
摘要：LLM 后训练通常优化多个优先级不等的目标，例如正确性和推理效率。然而，RL 中广泛使用的加性奖励聚合可能违反这些优先级：当主优势与辅助优势冲突时，足够大的辅助信号可能推翻主目标所诱导的偏好。我们将此问题称为 \emph{优势优先级反转}。尽管奖励级门控可以更直接地保护优先级，但它仍会移除未通过主条件的 rollout 样本中可能有用的辅助区分。为解决这一权衡，我们提出主优势策略优化（\textbf{PAPO}），一种优先级感知的优势聚合方法，以非对称方式组合主优势与辅助优势。PAPO 在目标一致时保留辅助监督，并平滑衰减冲突的辅助信号，在融合过程中保留主符号以实现 \emph{主一致排序}。该规则适用于 GRPO 中的序列级优势以及 actor--critic PPO 中的 token 级优势。在多个领域和模型上的实验表明，PAPO 在基于 GRPO 和 PPO 的优化中均能持续实现最佳主目标，同时保持最佳或具有竞争力的辅助目标性能。\href{this https URL}{代码已公开}。
| 学科： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.34862 [cs.LG] |
| （或 arXiv:2610.34862v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.34862 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Xiangchi Yuan [查看邮箱]
[v1]
2026年10月26日星期一 05:26:04 UTC（461 KB）
来源：arXiv cs.CL · arxiv.org