arXiv cs.AI· Yushu Li, Jiin Woo, Xiaoxiao Li, Youngsuk Park·· 2 天前AI 评分27
多奖励黑客：从聚合诱导漂移到信任锚定防御
Multi-Reward Hacking: From Aggregation-Induced Drift to Trust-Anchored Defense
AI 导读
LLM 后训练中对称聚合多奖励会导致聚合奖励上升但主任务性能下降，即"多奖励黑客"。研究证明对称聚合下确定性条件均值 GRPO 会收敛到偏好辅助奖励的行为，并提出 Trust-Anchored Gating（TAG），通过先选出锚定通道再对辅助奖励设门控来结构性消除该问题。
正文 · AI 翻译
摘要：为了在提升任务表现的同时鼓励理想的响应特性，LLM 后训练通常将主奖励（例如正确性）与辅助奖励（例如简洁性或效率）相结合。然而，这些奖励的聚合方式会严重影响训练结果。我们表明，对称聚合——即平等对待各奖励通道——会引发一种失败：即使各个奖励本身是有意义的，聚合奖励在提升，而主任务表现却在下降。我们通过一步多奖励决策公式来研究这种聚合引发的失败，刻画其何时构成多奖励 hacking。我们证明，在对称聚合下，当辅助奖励更容易可靠获得时，确定性条件均值 GRPO 无论初始化如何都会收敛到偏向辅助奖励的行为。我们提出 Trust-Anchored Gating（TAG），它首先根据单独优化每个通道所导致的策略漂移来选出一个锚定通道，然后以锚定满足度为条件对辅助奖励进行门控。与对校准敏感的静态重加权不同，TAG 在结构上消除了仅辅助结果所获得的奖励，同时保留联合成功带来的额外奖励。在同一分析设定下，TAG 可证明地逆转了这种选择：当主通道被锚定时，从任意初始化都会收敛到偏向主奖励的动作。在 Qwen 和 Llama 模型上针对数学和程序合成的实验表明，在对称、受限和归一化聚合下性能会大幅下降，而 TAG 缓解了这种失败。在带有简洁性奖励的 Qwen3-4B 上，TAG 实现了 0.581 的 pass@4，而加性聚合为 0.220，同时相对于仅正确性训练将响应缩短了 44%。
| Subjects: | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.21404 [cs.LG] |
| （或 arXiv:2610.21404v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21404 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Yushu Li [查看电子邮件]
[v1]
2026年10月15日星期四 07:21:58 UTC（1,279 KB）
来源：arXiv cs.AI · arxiv.org