arXiv cs.AI· Jake Ward, Shawn Hu, Aria Wong, Nathan Hu, Bryce Woodworth, Alexander Matt Turner, Alex Cloud·· 3 天前AI 评分38
GRAFT：用梯度路由定位并移除 RL 中的非预期行为
Gradient Routing Localizes and Removes Unintended Behaviors in RL
AI 导读
研究者提出 GRAFT（Gradient Routing Adapter Fine Tuning），在奖励函数设定有误、监控器存在系统性错误时，将可疑样本的梯度更新约束到一组新增的"牺牲"参数上，而非惩罚或过滤这些样本。
正文 · AI 翻译
摘要：我们提出了一种缓解强化学习中奖励黑客行为的方法。我们的设置涉及一个错误指定的奖励函数，该函数会引发非预期行为，以及一个用于检测非预期行为的监控器。与前沿 AI 系统一样，该监控器会产生系统性错误。因此，使用该监控器进行数据过滤或施加奖励惩罚，都无法阻止模型学习非预期行为（“奖励黑客”）。为了解决这个问题，我们提出了 GRAFT：梯度路由适配器微调。GRAFT 不是在训练期间惩罚或过滤被标记的样本，而是将这些样本上的梯度更新约束到一组牺牲性的新参数上。这有两个好处：第一，由于监控器不是奖励函数的一部分，模型不会学会隐藏不当行为。第二，消融这些牺牲性参数会减少或完全停止非预期行为，同时保持目标任务的性能提升。我们在强化学习环境中展示了这些好处，其中奖励惩罚导致模型学会以未被检测到的方式进行奖励黑客，训练了从 135M 到 8B 参数不等的模型。此外，我们通过将包含奖励黑客行为的前沿 LLM 轨迹蒸馏到 Qwen3-32B 中，在不教该模型进行奖励黑客的情况下，展示了更大规模上的类似效果。总体而言，我们的工作表明，在真实性能难以评估的场景中，GRAFT 可能是一种在训练后利用不完美监控器的有前景的方法。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.17062 [cs.LG] |
| （或 arXiv:2610.17062v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.17062 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Jake Ward [查看电子邮件]
[v1]
2026年10月12日星期一 16:28:28 UTC（1,289 KB）
来源：arXiv cs.AI · arxiv.org