arXiv cs.CL· Pedro H. Barcha Correia, Matheus Azevedo de S\'a, Paulo H. Gomes de Senna, Giovanni Mandel Martignago, Victor Takashi Hayashi, Charles Christian Miers, Marcos A. Simplicio Jr·· 12 小时前AI 评分64
研究：长期记忆与 LLM 结合代价高昂，从提示词注入到持久化失陷
Combining Long-Term Memory and LLMs Comes at a High Cost: From Prompt Injection to Persistent Compromise
AI 导读
一篇 arXiv 论文提出跨会话的“记忆注入”通用威胁模型，指出持久记忆功能会让提示词注入攻击在会话之间传播。
正文 · AI 翻译
摘要：近年来，生成式人工智能的广泛采用带来了提示注入和越狱攻击的同步上升。通过嵌入恶意指令，这些攻击手法操纵语言模型绕过预期行为和操作边界。在传统聊天机器人中，此类攻击被限制在单个会话内，因为状态记忆不会在对话之间保留。然而，现代对话界面中的持久记忆功能使跨会话攻击传播成为可能，从而形成了一种被称为记忆注入的威胁向量。本工作探讨了领先的 LLM 即服务（LLM-as-a-service）平台中这一新兴漏洞，强调了其现实世界的严重性以及对反制措施的需求。现有文献主要关注针对特定平台功能定制的违规行为，而我们提出了一个通用的威胁模型。我们证明，在该模型下，所有 NIST 攻击目标均可在 ChatGPT Instant 5.3、Claude Sonnet 4.6 和 Gemini 3 Flash 上共同实现。我们还表明，记忆注入可以利用多种攻击向量，包括个人记忆、项目、技能、组织指令以及模型上下文协议（MCP）连接的资源。我们的发现揭示，所有被评估的服务均可被操纵以持续传播虚假信息、生成有害内容或模拟离线无响应状态，即使在全新会话中也是如此。在 Claude 的特定案例中，共享记忆功能允许攻击者危害组织内的多个用户，并窃取用户提示。为应对这些漏洞，我们从所提出的威胁模型和基础网络安全原则中推导出防御机制。我们的分析表明，这些缓解措施中近一半在目标服务中仍未实现。数据集和攻击工件可在 此 https URL 获取。
| 主题： | 密码学与安全（cs.CR）；人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.28810 [cs.CR] |
| （或 arXiv:2610.28810v1 [cs.CR] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28810 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Pedro H. Barcha Correia [查看电子邮件]
[v1]
2026年10月20日星期二 18:33:05 UTC（1,087 KB）
来源：arXiv cs.CL · arxiv.org