arXiv cs.CL· Afonso Baldo, Ant\'onio Farinhas, Marcos Treviso, Ricardo Rei, Nuno M. Guerreiro·· 12 小时前AI 评分34
Dynalize：用演化惩罚缓解偏好奖励模型中的奖励黑客问题
Mitigating Reward Hacking in Preference Reward Models with Evolving Penalties
AI 导读
Dynalize 在策略训练过程中在线缓解奖励黑客：由一个语言模型定期异步分析训练 rollout，为奖励模型似乎在奖励的不良行为撰写惩罚项，再由裁判模型将其应用到每条 rollout 上。
正文 · AI 翻译
摘要：语言模型的强化学习已从偏好奖励模型转向可验证奖励，后者能维持更长时间的优化。偏好模型容易受到奖励黑客攻击：策略会提高其得分，却不提升回复质量，甚至会在质量下降时提高得分。然而，对于开放式任务，由于质量既无法验证，也无法完全写成评分标准，偏好模型仍然有价值。我们提出 Dynalize，它在策略训练期间在线缓解奖励黑客问题。一个语言模型会定期且异步地分析训练 rollout，并为奖励模型似乎会奖励的不良行为编写惩罚；一个评判器会将惩罚应用于每个 rollout。在临床咨询和创意写作中，仅使用奖励模型进行训练会持续提高其得分，但最终会导致外部基准下降；Dynalize 能维持更长时间的训练，并带来下游性能提升。我们发现，我们的方法抑制了偏好模型所激励的模式；如果没有惩罚，这些模式会扩散到大多数回复中，甚至扩散到模型的推理中，而奖励模型并不会明确对推理评分。此外，我们表明其收益在多轮训练中依然成立，甚至在我们根据发现的行为重新训练奖励模型之后也依然成立。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.26496 [cs.CL] |
| （或 arXiv:2610.26496v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.26496 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Afonso Baldo [查看电子邮件]
[v1]
2026年10月19日星期一 14:34:50 UTC（14,300 KB）
[v2]
2026年10月20日星期二 22:14:00 UTC（14,299 KB）
来源：arXiv cs.CL · arxiv.org