arXiv cs.AI· Natalia Fischl-Lanzoni, Punya Syon Pandey, Merlin Stein, David Demitri Africa·· 1 天前AI 评分58
研究：任务糟糕度激活先于奖励黑客行为出现
Breaking Bad: "Going Badly" Activations Drive Reward Hacking
AI 导读
研究提出语言模型在出现奖励黑客前存在一种内部「任务糟糕度」状态，作者用不含黑客示例的日常故事提取该方向，在 Qwen3.6-27B、GPT-OSS-20B 和 Gemma-4-31B 上观察到失败累积时该方向上升。
正文 · AI 翻译
摘要：当任务进展不顺、目标看似遥不可及时，人类往往会作弊。我们在语言模型中探索并验证了一个类似的设想：它们表现出一种先于奖励黑客行为的类似内部压力状态。我们使用日常故事（关键是不包含任何黑客行为示例），提取出一个任务糟糕程度方向，在我们研究的三个模型（Qwen3.6-27B、GPT-OSS-20B 和 Gemma-4-31B）中，该方向随着失败累积而上升。在不可能或困难的编程任务上，任务糟糕程度在导致黑客行为的若干轮次中上升。此外，适度减去该方向可减少 Qwen 中的作弊行为，效果优于针对绝望或任务不可能性的引导。以更大幅度减去任务糟糕程度会使智能体对自身失败视而不见，使其将失败的测试解读为通过。然而，与黑客行为的关系因模型而异：在 GPT-OSS 中，该状态能将黑客行为运行与诚实求解区分开，但无法区分诚实失败。我们的结果表明，基于追踪这一任务糟糕程度状态的监控与缓解策略是可行的。此外，随着智能体被设定在更困难、更长时程的任务上，此类状态可能推动它们走向难以理解且被遮蔽的思维链，因此需要对这类内部表征进行监督。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.14996 [cs.CL] |
| （或 arXiv:2611.14996v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.14996 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Natalia Fischl-Lanzoni [查看邮箱]
[v1]
2026年11月11日星期三 03:49:11 UTC（1,905 KB）
来源：arXiv cs.AI · arxiv.org