arXiv cs.AI· Austin Meek, Kyle Cox, Matthew Nguyen, Austin J. Brockmeier, Steven Basart·· 12 小时前AI 评分42
通过表征工程在真实场景中缓解奖励黑客行为
Mitigating Reward Hacking in Realistic Scenarios Through Representation Engineering
AI 导读
研究团队对三种方法获得的引导方向施加动态干预，以监测并缓解工具调用和长上下文等真实场景中的奖励黑客行为，包括基于标注 rollout 的 difference-in-means 向量、梯度优化向量，以及模型引用反奖励黑客模型规范时提取的向量。
正文 · AI 翻译
摘要：奖励黑客是当前生产机器学习系统中的一个主要问题，会导致代价高昂且危险的故障。本文研究如何在真实场景（包括工具调用和长上下文）中监控并缓解奖励黑客。我们对通过三种不同方法获得的引导方向施加动态干预：来自带标签轨迹的均值差向量、基于梯度优化的向量，以及模型引用反奖励黑客模型规范时提取的向量。与向残差流均匀添加引导向量相比，这种动态干预对模型表示的扰动更小，从而能够实现更精确的编辑。我们发现，我们能够以较低成本显著减少奖励黑客行为，而不会相应地对模型连贯性或能力造成显著代价，并且最初从编码环境中提取的引导向量也能推广到减少其他领域的奖励黑客行为。我们的结果为对真实生产系统进行潜在空间监控和控制铺平了道路。
| 评论： | 项目页面：此 https URL 代码：此 https URL |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.29129 [cs.LG] |
| （或 arXiv:2610.29129v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29129 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Austin Meek [查看电子邮件]
[v1]
2026年10月21日星期三 03:12:22 UTC（827 KB）
来源：arXiv cs.AI · arxiv.org