跳到正文
arXiv cs.AI· Elias Hossain, Md Mehedi Hasan Nipu, Fatema Tuj Johora Faria, Shubhashis Roy Dipta, Maleeha Sheikh, Tasfia Nuzhat Ornee, Niloofar Yousefi·· 3 天前AI 评分39

ChannelGuard:多智能体 LLM 中从借用安全到应用可控防御

ChannelGuard: From Borrowed Safety to Application-Controlled Defenses in Multi-Agent LLMs

AI 导读

针对多智能体 LLM 中恶意指令可经模型间传递信息注入的问题,研究者提出应用层防御方案 CHANNELGUARD,在每次信息交接时检查内容,无需额外训练或增加模型调用。在超过 5700 次测试中,它拦截了全部隐藏在工具输出中的攻击;在两个开源模型上,将提示攻击成功率从 80% 降至 3%、从 77% 降至 10%,且 30 道数学题准确率不变。但改写后的攻击仍可能绕过该防御。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:AI 助手越来越多地以团队形式工作,其中一个模型制定计划,其他模型搜索网络、使用工具或读取存储的信息,再由另一个模型撰写最终答案。这带来了新的安全风险,因为有害指令可以通过模型之间传递的信息进入,而不仅仅是通过用户的消息。然而,安全测试通常只报告攻击是否成功,而不说明究竟是什么阻止了它。我们表明,安全评分相似的系统可能依赖于截然不同的防护措施。在五个智能体模型中,攻击被云服务提供商的过滤器、模型本身或不一致的模型行为所阻止。这一点很重要,因为来自模型或提供商的防护可能会在任一方发生变化时消失。我们提出 CHANNELGUARD,一种由应用控制的防御措施,它在每次交接时检查信息,无需额外训练或额外的模型调用。在超过 5,700 次测试运行中,它在所有五个模型上阻止了所有隐藏在工具输出中的已测试攻击。在两个开源模型上,它将成功的提示攻击从 80% 降至 3%,从 77% 降至 10%,并且在 30 道数学题上准确率没有变化。然而,改写后的攻击仍可能绕过该防御。
主题: 密码学与安全(cs.CR);人工智能(cs.AI);多智能体系统(cs.MA)
引用为: arXiv:2607.19430 [cs.CR]
  (或使用 arXiv:2607.19430v3 [cs.CR] 引用此版本)
  https://doi.org/10.48550/arXiv.2607.19430

arXiv 颁发的 DOI,通过 DataCite

提交历史

来自:Mehedi Hasan Nipu [查看电子邮件]
[v1] 2026年7月20日星期一 19:11:17 UTC(754 KB)
[v2] 2026年8月10日星期一 05:30:02 UTC(754 KB)
[v3] 2026年10月11日星期日 05:25:27 UTC(817 KB)

来源:arXiv cs.AI · arxiv.org