arXiv cs.CL· Jixuan Leng, Si Si, Fei Wang, Cho-Jui Hsieh, Jiong Zhang, Hsiang-Fu Yu, Inderjit S. Dhillon·· 11 小时前AI 评分22
CONCUR：面向多任务多奖励强化学习的一致性辅助奖励方法
CONCUR: Concordant Auxiliary Rewards for Multi-Task, Multi-Reward Reinforcement Learning
AI 导读
CONCUR 是一种新的优势估计器，用于多任务、多奖励的 LLM 强化学习训练，通过将各门控辅助奖励的标准化分数替换为满足两个条件的最接近分数，避免辅助奖励反转主奖励的排序。
正文 · AI 翻译
摘要：当大型语言模型（LLM）在多个任务上通过强化学习（RL）训练时，某个任务的主奖励可以门控长度奖励等辅助奖励：对于失败的回复，辅助奖励不能超过主奖励。然而，组相对优势估计器会把被门控的辅助奖励当作任何其他组成部分来处理，因此它可能颠倒主奖励的顺序，而在主奖励达到上限时，只有辅助奖励决定回复的顺序。保留被门控的辅助奖励会损害某些任务，而丢弃它们又会损害另一些任务。我们提出 CONCUR，这是一种优势估计器，它将每个被门控辅助奖励的标准化分数替换为满足两个条件的最接近分数：主奖励更高的回复不能获得更低的分数，且处于主奖励上限的回复获得相同分数。CONCUR-T 在整个训练过程中应用这两个条件，而 CONCUR-A 对某个辅助奖励解除第二个条件，前提是在通过的回复中，该辅助奖励与主奖励顺序一致的情况多于其颠倒顺序的情况。在两个系列的三个模型上，并在数学、代码、指令遵循和写作任务中，两种变体的平均得分都高于所有基线，也高于丢弃所有被门控辅助奖励时的得分。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.36437 [cs.CL] |
| （或 arXiv:2610.36437v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.36437 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jixuan Leng [查看邮箱]
[v1]
2026年10月27日星期二 00:36:59 UTC（2,374 KB）
来源：arXiv cs.CL · arxiv.org