arXiv cs.AI· Md Abu Yusuf, Oyshi Tabassum Aditi, Md Faysal Hosain Mazed·· 14 小时前AI 评分34
SentryBench：面向公共安全部署中工具调用型 LLM 智能体对抗鲁棒性的成本敏感基准
SentryBench: A Cost-Sensitive Benchmark for Adversarial Robustness of Tool-Using LLM Agents in Public-Safety Deployments
AI 导读
SentryBench 是一个针对公共安全场景下工具调用型 LLM 智能体的成本敏感对抗鲁棒性基准，联合衡量攻击成功率、过度拒答（漏掉真实紧急事件）与过度反应（不必要的行动）。
正文 · AI 翻译
摘要：大型语言模型（LLM）智能体正越来越多地接入会产生实际后果的工具，例如发送公共警报、派遣响应人员以及查询公民记录，其中一次错误的工具调用就会带来现实世界的代价。现有的智能体安全基准衡量的是泛化危害或提示注入的成功率，并隐含地将拒绝视为安全的默认行为。在公共安全部署中，这一假设并不成立：一个过于谨慎而不敢派遣救援的智能体，与一个触发误报的智能体同样失败。我们提出 SentryBench，它在对抗性工具使用下，从双侧、成本敏感的前沿对智能体进行评分，联合衡量攻击成功率、过度拒绝（漏掉真实紧急情况）和过度反应（不必要的行动），其场景基于真实的紧急呼叫记录、灾难消息以及真实的注入/越狱载荷。我们将部署危害形式化为一个非对称成本泛函，证明当朴素谨慎所拒绝的真实紧急情况多于其所避免的攻击危害时，它在危害上占优，并证明有针对性的信任门控在干净输入上不会增加任何过度拒绝。在三个前沿模型和三种防御的 840 个评分回合中，倾向于更多拒绝的谨慎策略使三个模型中的两个过度拒绝率达到 100%，而攻击成功率最多只变化 3.7 个百分点，并且在所有情况下都产生最差的危害；而我们的信任门控封装在前沿上占优（在每个模型上危害最低，过度拒绝率等于或低于基线，遏制率更高）。提供商的内容过滤器也在暗中承担了部分防御工作，必须单独报告。
| 主题： | 密码学与安全（cs.CR）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.34535 [cs.CR] |
| （或使用 arXiv:2610.34535v1 [cs.CR] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.34535 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Md Abu Yusuf [查看电子邮件]
[v1]
2026年10月25日星期日 19:49:40 UTC（281 KB）
来源：arXiv cs.AI · arxiv.org