arXiv cs.AI· Jiankai Jin, Xiangzheng Zhang, Zhao Liu, Wenzhuo Xu, Dongdong Yang, Deyue Zhang, Quanchen Zou·· 10 小时前AI 评分48
ElephantAgent:智能体系统中的上下文状态连续性
ElephantAgent: Contextual State Continuity in Agentic Systems
AI 导读
研究者提出 ElephantAgent 协议,通过对智能体上下文中安全关键子集强制"上下文状态连续性"检查,防御工具与记忆投毒攻击。集成该协议的 ElephantDSH 抵御了全部带外攻击(含 rug pull、回滚及针对自身机制的攻击),并在所有试验中从带内提示词注入中恢复;而评估的 5 种现有防御在回滚攻击下全部泄露目标内容,其中 3 种在 rug pull 下也泄露。
正文 · AI 翻译
摘要:智能体系统通过调用外部工具并维护持久记忆来增强自身能力。然而,近期的工具与记忆投毒攻击能够隐蔽地偏置智能体的行为。我们观察到,此类以带外方式发起的攻击共享同一个使能条件:每一种攻击之所以成功,都只是因为它向智能体呈现了一个并非最新、未被忠实演化的上下文状态(例如工具状态和记忆)。这一观察表明,对上下文状态进行连续性检查即可覆盖这一族攻击。我们提出 ElephantAgent,一种在智能体上下文中受边界约束、安全攸关的子集上强制实施上下文状态连续性(Contextual State Continuity)的协议。在每个规划与执行周期之前,ElephantAgent 会重新计算本地上下文状态的摘要,并将其与可线性化状态转换账本中最新的已授权摘要进行校验,该账本维护于复制的可信硬件之上。该协议还提供历史可追溯性(Historical Traceability)这一次级保证,使状态转换保持可归因且可恢复。我们将 ElephantAgent 集成到 DeepSeek Harness(DSH)中,并实现了 ElephantDSH——一个受上下文状态校验保护的智能体系统。ElephantDSH 抵御了所有带外攻击尝试,从拉地毯(rug pull)和回滚,到针对其自身机制的攻击,并且在所有试验中都从带内提示注入中恢复。相比之下,现有防御通常只检查进入上下文的内容:在我们评估的五种防御中,全部在回滚情形下泄露了目标内容,其中三种在拉地毯情形下也发生了泄露。在去除模型延迟波动后,ElephantDSH 完成了所有正常编码任务,相对原始 DSH 的相对开销为 1.02-1.07$\times$。
| 学科: | 人工智能(cs.AI);密码学与安全(cs.CR) |
| 引用为: | arXiv:2607.01919 [cs.AI] |
| (或使用 arXiv:2607.01919v2 [cs.AI] 查看此版本) | |
| https://doi.org/10.48550/arXiv.2607.01919 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Jiankai Jin [查看邮箱]
[v1]
2026年7月2日 星期四 09:18:09 UTC(1,005 KB)
[v2]
2026年11月18日 星期三 08:55:08 UTC(1,197 KB)
来源:arXiv cs.AI · arxiv.org