跳到正文
arXiv cs.AI· Dongyi Liu, Haixing He, Xiaobao Wu, Jia Li·· 3 天前AI 评分31

MIND:面向 LLM 智能体的轻量意图感知信息瓶颈记忆注入防御

MIND: Lightweight and Effective Memory Injection Defense for LLM Agents via Intent-Aware Information Bottleneck

AI 导读

针对记忆增强 LLM 智能体易受记忆注入攻击的问题,研究者提出轻量防御框架 MIND,用意图感知信息瓶颈从初始意图与逐轮行为中提取紧凑的意图—行为表示,再由轻量检测器识别恶意记忆。在 ReAct-StrategyQA 上,MIND 将平均 ASR-r 和 ASR-a 分别降低 58.1% 和 53.5%,同时平均准确率与延迟与未防御智能体持平。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:基于记忆增强的 LLM 智能体容易受到记忆注入攻击:智能体可能检索到攻击者投毒的记忆,从而使其行为偏离用户最初的意图,最终导致任务失败。然而,现有的防御机制要么计算成本高昂,要么在多轮上下文中存在信息冗余。为应对这些挑战,我们提出了记忆意图感知神经去噪(MIND),一种针对记忆注入攻击的轻量级防御框架。我们的初步分析表明,良性轨迹与投毒轨迹在初始用户意图与后续行为之间呈现出可区分的关系。基于这一观察,MIND 采用意图感知信息瓶颈(IB)从初始意图和轮级行为中提取紧凑的意图—行为表示。该 IB 在过滤任务无关和重复信息的同时,保留与意图相关的跨轮攻击信号,随后由轻量级检测器从所得表示中识别恶意记忆。因此,MIND 缓解了多轮上下文中的信息冗余,同时避免了重复 LLM 审计的开销。大量实验表明,MIND 在降低攻击成功率的同时保持了任务准确率和推理效率。值得注意的是,在 ReAct-StrategyQA 上,MIND 将平均 ASR-r 和 ASR-a 分别降低了 58.1% 和 53.5%,同时在平均准确率和延迟上与未防御的智能体相当。
学科: 人工智能(cs.AI)
引用为: arXiv:2607.28103 [cs.AI]
  (或 arXiv:2607.28103v2 [cs.AI] 查看此版本)
  https://doi.org/10.48550/arXiv.2607.28103

arXiv 颁发的 DOI,经由 DataCite

提交历史

来自:Dongyi Liu [查看邮箱]
[v1] 2026年7月30日星期四 12:11:49 UTC(2,862 KB)
[v2] 2026年10月12日星期一 16:09:44 UTC(3,441 KB)

来源:arXiv cs.AI · arxiv.org