跳到正文
arXiv cs.AI· Yeonsung Jung, Zhiyuan Wang, Zifan Wang, V\'itor Albiero, Benjamin Newman, Edoardo Debenedetti, Ivan Evtimov, Ninareh Mehrabi·· 6 天前AI 评分30

X-AgentRed:在演进的多服务生态中对个人智能体进行红队测试

X-AgentRed: Red-Teaming Personal Agents in Evolving Multi-Service Ecosystems

AI 导读

X-AgentRed 是一个自进化红队测试框架,通过工具依赖图发现有害的工具调用路径,并利用执行反馈扩展和优化这些路径。在四个前沿智能体模型上,X-AgentRed 的有害路径率达到 STAC 的 1.77 倍,工具覆盖平均提升至 2.99 倍。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:个人智能体越来越多地通过工具连接网络和应用程序中的各类服务。随着其行为的影响在服务之间累积和相互作用,当智能体满足用户的良性请求时,可能会产生非预期或有害的结果。主动识别这些组合性故障需要系统地探索多样的跨服务路径。现有的红队测试方法通常只是提示 LLM 从任务和环境描述中识别潜在的有害路径,或将人类或 LLM 指定的有害目标分解为看似良性的动作组合。然而,生成过程偏向于训练期间学到的模式,可能偏好熟悉的工具组合,从而使新颖的跨服务交互未被充分探索。为解决这一问题,我们提出 X-AgentRed,一个自演化的红队测试框架,它通过工具依赖图发现有害的工具调用路径,并利用执行反馈对其进行扩展和细化。通过分析每个工具的效果、潜在危害和执行前提条件,红队测试智能体构建一个有向图,捕捉一个工具的效果如何满足另一个工具的执行前提条件。从该图中采样的配方被实例化为现实场景,智能体在这些场景中可能产生有害结果。执行反馈通过工具替换使产生危害的路径多样化,并细化失败路径中被阻塞步骤的前提条件以支持进一步执行,从而实现自我改进。在四个前沿智能体模型上,X-AgentRed 的有害路径率达到 STAC 的 $1.77\times$,并探索了更多样的工具集,平均工具覆盖率达到 $2.99\times$。
评论: 18 页。项目页面:this https URL
主题: 人工智能(cs.AI)
引用为: arXiv:2610.13886 [cs.AI]
  (或 arXiv:2610.13886v1 [cs.AI] 用于此版本)
  https://doi.org/10.48550/arXiv.2610.13886

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Yeonsung Jung [查看电子邮件]
[v1] 2026年10月9日星期五 17:34:44 UTC(393 KB)

来源:arXiv cs.AI · arxiv.org