arXiv cs.AI· Jingnan Zheng, Yanzhen Luo, Jingjun Xu, Bingnan Liu, Yuxin Chen, Chenhang Cui, Gelei Deng, Chaochao Lu, Xiang Wang, An Zhang, Tat-Seng Chua·· 3 天前AI 评分44
Risky-Bench：评估真实生活辅助场景中智能体安全风险
Risky-Bench: Evaluating Agentic Safety Risks in Real-World Life-Assist Deployments
AI 导读
研究者提出 Risky-Bench，一个面向生活辅助场景的智能体安全评估框架，从领域无关安全原则推导上下文相关安全准则，并在分层攻击面上通过真实任务执行探测风险。该框架覆盖外卖、到店协助和在线旅行预订场景，在 750 个任务上评估七个 SOTA 智能体，攻击成功率介于 25% 至 60%，暴露出威胁模型特定漏洞、攻击面相关风险集中及显式推理的模型依赖效应。代码与数据已公开。
正文 · AI 翻译
作者：Jingnan Zheng、Yanzhen Luo、Jingjun Xu、Bingnan Liu、Yuxin Chen、Chenhang Cui、Gelei Deng、Chaochao Lu、Xiang Wang、An Zhang、Tat-Seng Chua
摘要：大型语言模型（LLM）正越来越多地被部署为在真实环境中运行的智能体，通过工具使用、外部交易和多步决策引入了超越语言危害的安全风险。现有的智能体安全评估构建了面向风险的任务，但缺乏分层组织的攻击面分类体系，依赖预定义的危害类别而非基于部署场景的安全准则，并且孤立地评估智能体行为，而非在真实的长时程任务执行过程中进行评估。为解决这些局限，我们提出了 Risky-Bench，一个面向生活辅助场景、基于部署场景的系统化智能体安全评估框架。Risky-Bench 从领域无关的安全原则中推导出上下文感知的安全准则，并在不同威胁假设下通过真实任务执行，系统性地探查分层组织的攻击面上的安全风险。Risky-Bench 应用于涵盖外卖配送、到店协助和在线旅行预订的生活辅助场景，在 750 项任务上评估了七个最先进的智能体，揭示出攻击成功率介于 25% 至 60% 之间，并暴露出系统性失败模式，包括特定威胁模型的脆弱性、依赖攻击面的风险集中，以及显式推理的模型依赖性效应。我们的代码和数据可在 此 https URL 获取。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2602.03100 [cs.AI] |
| （或 arXiv:2602.03100v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2602.03100 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Jingnan Zheng [查看电子邮件]
[v1]
2026年2月3日星期二 04:44:11 UTC（2,570 KB）
[v2]
2026年10月11日星期日 12:03:51 UTC（1,884 KB）
来源：arXiv cs.AI · arxiv.org