arXiv cs.AI· Ali Satvaty, Narjes Sharafi, Jirui Qi, Suzan Verberne, Fatih Turkmen·· 9 天前AI 评分27
LLM 记忆是否受上下文影响？超越孤立前缀的前缀式提取研究
Is Memorization Context-Sensitive? Prefix-Based Extraction Beyond Isolated Prefixes
AI 导读
研究通过配对条目级测量发现，上下文并不会简单消除 LLM 的记忆提取：可提取记忆由上下文稳健的核心与上下文敏感的边界组成，前缀越长，无上下文可提取的样本在检索上下文下仍多可提取。上下文主要影响提取阈值附近的边缘样本，既抑制部分暴露，也带来前缀单独评估时遗漏的新暴露，这质疑了 RAG 降低记忆风险的观点。
正文 · AI 翻译
摘要：大型语言模型（LLM）在基于前缀的提取下可能暴露其记忆的训练序列：给定训练样本中的一个前缀，模型可能对原始后续内容赋予高概率。然而，在已部署的系统中，前缀很少被孤立地评估。它们通常与指令、检索到的文档或其他任务特定上下文一起出现，例如在检索增强生成（RAG）中。这促使我们考察上下文条件作用究竟是减轻了记忆，还是仅仅改变了可被提取的记忆样本集合。我们通过对概率性后缀提取进行成对的项目级测量来研究这一问题。对于每个前缀-后缀对，我们在空提示下以及在相关性各异的检索上下文下，对目标后缀进行评分，涵盖三个开放权重的指令微调模型。我们发现，上下文并不会简单地抹除记忆。相反，可提取的记忆由一个上下文稳健的核心和一个上下文敏感的边界组成。许多在无上下文时可提取的样本在检索上下文下仍然可提取，尤其是随着前缀长度的增加。与此同时，上下文主要影响接近提取阈值的边缘样本：它抑制了一些暴露，但也促成了仅靠前缀评估所遗漏的新暴露。这些发现对 RAG 降低记忆风险的观点提出了限定。上下文可以通过抑制边界案例来降低总体提取量，但稳健可提取的样本依然存在，且上下文促成的可提取性仍与安全相关。
| Comments: | 已被 EMNLP 2026 接收 |
| Subjects: | 人工智能（cs.AI） |
| Cite as: | arXiv:2610.12085 [cs.AI] |
| （或 arXiv:2610.12085v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12085 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Ali Satvaty [查看电子邮件]
[v1]
2026年10月8日星期四 14:57:33 UTC（611 KB）
来源：arXiv cs.AI · arxiv.org