arXiv cs.CL· Sangyeon Yoon, Wooseok Seo, Hamish Ivison, Hyesoo Hong, Donghoon Kim, Wonjun Kang, Albert No, Jaehyung Kim·· 3 天前AI 评分32
诊断与纠正可验证指令遵循中的奖励黑客问题
Diagnosing and Correcting Reward Hacking in Verifiable Instruction Following
AI 导读
可验证指令遵循基准只看约束满足，前沿模型可凭几乎无实质内容的回答拿满分，用同一验证器作训练奖励会引发奖励黑客。为此提出 CALIF，用冻结参考策略在仅给定请求下评估回答似然，加入校准似然奖励，无需额外评判器或奖励模型。
正文 · AI 翻译
摘要：可验证的指令遵循基准强调输出约束的满足，但可能忽视回答是否真正有意义地回应了底层请求，从而形成评估盲区。我们表明，前沿模型可以因几乎没有实质性回答内容的响应而获得满分。使用与训练奖励相同的基于验证器的标准可能诱发奖励黑客行为，因为公开发布的检查点在基于可验证奖励的强化学习后表现出更高的约束满足度，但响应质量更低。为解决这一奖励黑客问题，我们提出 CALIF，一种轻量级方法，通过校准的基于似然的奖励项来增强验证器奖励，以保持响应质量。CALIF 使用现有的冻结参考策略，仅在请求下评估响应似然，无需额外的评判器或学习到的奖励模型。在从 1.7B 到 8B 的推理和非推理模式模型中，CALIF 在 IFBench 上提高了约束满足度，同时将响应质量保持在接近或高于 RL 前水平。在三个基于评分标准的指令遵循基准上，它在 45 项模型-指标比较中的 40 项中优于相应的基础策略，表明其收益超越了训练验证器。
| 评论： | 15 页 |
| 主题： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.19525 [cs.LG] |
| （或 arXiv:2610.19525v1 [cs.LG] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.19525 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Sangyeon Yoon [查看电子邮件]
[v1]
2026年10月14日星期三 03:42:59 UTC（1,629 KB）
来源：arXiv cs.CL · arxiv.org