arXiv cs.AI· Xiuming Liu, Le Gai, Zhiyuan Chang, Peiyang Li, Bin Zhu, Shuo Wang, Chao Feng·· 3 天前AI 评分36
Agent-Canary-Mas:长周期多智能体系统协议风险的端到端评估
Agent-Canary-Mas: End-to-End Evaluation of Protocol Risk in Long-Horizon Multi-Agent Systems
AI 导读
研究者提出 Agent-Canary-Mas,一个端到端评估系统,追踪 LLM 智能体在长周期多智能体任务中的协议风险,覆盖 A2A、ANP、BCS 的 5 类风险、13 个子类,含 5 个业务领域的 975 对匹配的恶意—良性任务。
正文 · AI 翻译
摘要:Agent 到 Agent 协议允许 LLM 智能体发现对等体、交换结果并协调工具使用。然而,一次在本地成功的协议攻击可能会被后续智能体拒绝,或传播为有后果的任务决策。仅衡量本地可利用性无法解决这一差异,并且只能为最终结果由哪个参与者导致提供有限证据。
我们提出 Agent-Canary-Mas,一个端到端评估系统,用于在长时程多智能体任务中追踪协议风险。它涵盖 A2A、ANP 和 BCS 中的五类风险和 13 个子类,在五个业务领域中有 975 对匹配的恶意—良性任务。共享的 OpenClaw 框架在不同底层模型下运行自主的、使用工具的智能体,同时保持任务和执行设置不变。匹配运行将本地协议成功与下游后果区分开来;保留的证据连接参与者选择、消息消费、工具活动和任务状态变化。我们进一步评估了一种协议上下文 Guard,它在有后果的交接处检查对象的权限。
在三种模型条件下,本地攻击成功率经常达到或超过 90%,而后果转化率范围为 7.1% 到 100.0%。跨智能体证据将宏平均 Audit-F1 从 29.7% 提高到 95.5%。在金融任务上,Guard 将平均 ASR 从 86.1% 降至 53.8%,将 PTCR 从 65.5% 降至 31.2%,并带来可衡量的完成度权衡。这些结果表明,协议风险取决于智能体在整个任务中如何使用交换的对象,并且评估这一路径有助于实现更有信息量的风险评估、归因和防御。
| 评论: | 21 页,8 幅图 |
| 主题: | 人工智能(cs.AI) |
| 引用为: | arXiv:2610.15529 [cs.AI] |
| (或 arXiv:2610.15529v2 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.15529 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Zhiyuan Chang [查看电子邮件]
[v1]
2026 年 10 月 11 日星期日 11:02:00 UTC(8,484 KB)
[v2]
2026 年 10 月 14 日星期三 10:06:32 UTC(8,484 KB)
来源:arXiv cs.AI · arxiv.org