arXiv cs.AI· Ekagra Gupta, Raj Saha, Aniekan-Abasi Inyang, Adam Al Gharib·· 12 小时前AI 评分49
研究揭示 LLM 智能体的拒绝行为难以迁移到工具调用场景
Behavior Beyond Text: Evaluating Refusal Transfer Failure in LLM Agents
AI 导读
研究构建了包含 2,304 条提示词的基准，用配对三元组在纯文本、标准工具调用和对抗性工具调用三种设定下测试五个不同规模与家族的模型，发现聊天中被拒绝的有害请求在标准工具调用下有 10%-52% 仍触发不安全工具调用。
正文 · AI 翻译
摘要：尽管大语言模型越来越多地被部署为工具调用智能体，但其安全评估仍主要关注其在文本中拒绝有害请求的能力。我们研究文本中的拒绝行为是否会迁移到工具使用中。我们构建了一个涵盖四个领域、包含 2,304 条提示的基准，由匹配的三元组组成，分别以纯文本、标准工具启用和对抗性框架工具启用三种设置呈现相同的有害或良性请求。随后，我们使用 20 个预定义禁止动作评估工具调用安全性。测试五个不同规模和系列的模型后，我们发现，在文本中被拒绝的请求经常导致不安全的工具调用。在标准工具启用提示下，这种分歧发生在聊天中被拒绝的有害请求的 10% 至 52% 上。为从机制上研究这一差距，我们在五个模型各自的残差流中识别出一个与拒绝相关的方向。我们发现，在工具启用语境中，五个模型中有四个沿该方向的激活值下降。此外，较低的激活值可预测全部五个模型中的不安全工具调用（AUC 0.76-0.86）。然而，通过激活修补将信号恢复到各自的纯文本值，只能阻止一部分不安全调用，且主要通过抑制工具使用而非产生更安全的调用来实现。沿拒绝方向进行引导，只有在同时抑制良性工具使用或降低输出质量的强度下，才能几乎消除不安全调用。我们的发现表明，所识别的拒绝方向有助于判断模型是否采取行动，但只能部分解释拒绝分歧。因此，评估工具调用智能体的安全性需要直接检查其行动及其文本响应。
| 评论： | Raj Saha 和 Ekagra Gupta 贡献相同，共享第一作者身份 |
| 主题： | 人工智能（cs.AI）；软件工程（cs.SE） |
| 引用为： | arXiv:2610.28982 [cs.AI] |
| （或 arXiv:2610.28982v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28982 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Raj Saha [查看电子邮件]
[v1]
2026年10月20日星期二 23:14:30 UTC（281 KB）
来源：arXiv cs.AI · arxiv.org