arXiv cs.AI· Shengjie Ma, Chenlong Deng, Jiaxin Mao, Jiadeng Huang, Teng Wang, Junjie Wu, Changwang Zhang, Jun wang·· 9 天前AI 评分30
Proof-of-Use：缓解深度研究智能体中的工具调用作弊
Proof-of-Use: Mitigating Tool-Call Hacking in Deep Research Agents
AI 导读
针对深度研究智能体在强化学习中出现的 Tool-Call Hacking 问题，研究者提出证据锚定的 RL 框架 Proof-of-Use（PoU），要求智能体可审计地引用规范化证据标识符。
正文 · AI 翻译
摘要：虽然强化学习（RL）增强了智能体跨检索步骤进行规划与推理的能力，但我们在此场景中发现了一个关键失效模式：工具调用攻击（Tool-Call Hacking）。与代码或数学等执行型工具不同——其效果可直接观测——在格式与结果层面的监督下，检索证据与推理之间因果依赖关系的弱可观测性，使智能体能够最大化表层奖励信号，而无需真正将其推理建立在返回的证据之上。这导致了独特的病态现象，包括因工具过度使用而引发的模式崩溃，以及工具调用在很大程度上只是装饰性的幻觉工具使用。
为解决这一问题，我们提出了 Proof-of-Use（PoU），一个证据接地的强化学习框架，显式优化从检索到推理及最终答案的因果依赖关系。PoU 重新构建了一种细粒度的逐步交互协议，其中智能体必须可审计地引用规范化证据标识符。我们通过多目标奖励设计将其落地实现，包括：（1）两个渐进式过程奖励，约束中间步骤的引用有效性；（2）一个全局的答案—支撑对齐奖励，强制最终答案与检索证据之间保持一致；（3）一种课程式自适应奖励混合机制，使智能体从密集的过程监督平滑过渡到稀疏的基于结果的优化目标。大量实验表明 PoU 具有强劲性能，并证明了其在缓解工具调用攻击方面的有效性。除此之外，PoU 还展现出一种显著的新兴特性：即使在领域和工具发生变化时，自适应且鲁棒的工具使用模式也会自然涌现，尽管 PoU 并未显式针对工具自适应进行优化。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2510.10931 [cs.AI] |
| （或 arXiv:2510.10931v3 [cs.AI] 对应此版本） | |
| https://doi.org/10.48550/arXiv.2510.10931 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Shengjie Ma [查看邮箱]
[v1]
2025年10月13日 星期一 02:45:37 UTC（343 KB）
[v2]
2026年1月23日 星期五 05:07:44 UTC（620 KB）
[v3]
2026年10月8日 星期四 02:04:53 UTC（620 KB）
来源：arXiv cs.AI · arxiv.org