跳到正文
arXiv cs.CL· Haowen Pan, Pengyang Shao, Yunshan Ma, Yanzheng Jin, Naixin Zhai, Xiang Wang, Xun Yang·· 11 小时前AI 评分42

MemForm:评测 LLM 智能体记忆形成投毒

MemForm: Benchmarking Memory Formation Poisoning in LLM Agents

AI 导读

研究者提出 MemForm,一个覆盖 Content、Evidence、Scope、Selection、Path 五类接口的受控诊断基准,用于评测 LLM 智能体的记忆形成投毒,其中 Selection 与 Path Poisoning 为新增的受控干预类别。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:长期记忆使 LLM 智能体能够从过往交互中学习,但也使记忆形成过程暴露于对抗性影响之下。现有研究主要按攻击渠道、污染模式或生命周期阶段来组织记忆投毒,对记忆形成接口的刻画仍不充分。我们将记忆形成投毒表述为对持久性智能体记忆被生成并提交所经由的接口进行对抗性操纵,并提出 MemForm——一个受控诊断基准,覆盖五类接口:内容投毒、证据投毒、范围投毒、选择投毒和路径投毒。我们引入选择投毒和路径投毒作为受控干预类别,分别隔离保留效应与巩固顺序效应。每个类别都将干净条件与投毒条件配对,并配有接口特定的对照。在六种 LLM 和两种响应格式上的评估显示,在所评估的记忆协议与实现下,全部五类接口均存在广泛易感性。关键在于,具有成功结果的真实体验并不能保证记忆形成后的可靠行为:对上下文支持、保留或巩固顺序的改动都可能诱发不良的下游行为。特别是,即使保留的体验完全相同,巩固顺序也可能改变行为,具体取决于记忆形成过程。进一步分析表明,接口适用性取决于记忆架构,而路径投毒的易感性取决于更新器。所评估的防御措施只能提供不完整的缓解,且因接口而异。这些发现说明,既需要保护提交到持久记忆中的内容,也需要保护记忆从体验中形成的方式。代码和数据见 this https URL。
学科: 密码学与安全(cs.CR);计算与语言(cs.CL)
引用为: arXiv:2610.14431 [cs.CR]
  (或 arXiv:2610.14431v2 [cs.CR] 查看此版本)
  https://doi.org/10.48550/arXiv.2610.14431

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Haowen Pan [查看邮箱]
[v1] 2026年10月10日 星期六 00:52:32 UTC(563 KB)
[v2] 2026年11月5日 星期四 06:03:04 UTC(563 KB)

来源:arXiv cs.CL · arxiv.org