跳到正文
arXiv cs.MA· Tushin Mallick, Evan Rose, Matthew Laws, Alina Oprea, Cristina Nita-Rotaru·· 23 小时前AI 评分36

Kaer:面向多智能体系统的安全感知重规划框架

Kaer: Security-Aware Replanning for Multi-Agent Systems

AI 导读

Kaer 是一个带安全感知重规划的多智能体框架,通过抽象模板向重规划流程传递诊断信息,使规划器不直接接触不可信智能体反馈,并将计划修改限制在确定性修复算子内且须满足预设策略。团队构建了针对重规划阶段攻击的 Cintra 基准,在任务完成率与漏洞评估中,Kaer 的鲁棒性高于未设防的 Magentic-One 和当前最优防御 ControlValve,效用与 ControlValve 相当。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:多智能体系统(MAS)的一种流行架构依赖于一个编排器,它生成初始计划、协调其执行,并在任务无法事先完全确定时,根据智能体反馈动态修订计划。这种动态重规划引入了一个关键漏洞:恶意智能体可以在其反馈中嵌入指令,从而劫持重规划过程。现有防御措施仅专注于单个工具的访问控制或静态的执行前策略强制,使重规划阶段处于无保护状态。
我们提出 Kaer,一个具备安全感知重规划能力的多智能体框架。Kaer 通过抽象模板严格地将诊断信息传递给重规划过程,从而使规划器免受不可信智能体反馈的影响。计划修订被限制在一组确定性修复算子内,且所有修改后的计划都必须满足预设策略。我们创建了 Cintra,一个模拟用户任务的基准,这些任务需要重规划,并配有针对重规划阶段的对抗性目标。使用 Cintra,我们评估了任务完成率以及系统对恶意智能体重规划漏洞利用的脆弱性。在 Cintra 上针对 Magentic-One(一个未防御的 MAS)和 ControlValve(最先进的防御)评估 Kaer,结果表明 Kaer 比这两个系统都实现了更高的鲁棒性,同时保持了与 ControlValve 相当的效用。尽管抽象失败模板在部分任务上略微限制了效用,但 Kaer 使 MAS 能够执行安全的动态计划修订,而不会将编排器暴露于不可信智能体反馈。
学科: 多智能体系统(cs.MA);机器学习(cs.LG)
引用为: arXiv:2611.24839 [cs.MA]
  (或 arXiv:2611.24839v1 [cs.MA] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.24839

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Tushin Mallick [查看电子邮件]
[v1] 2026年11月18日星期三 18:05:47 UTC(356 KB)

来源:arXiv cs.MA · arxiv.org