arXiv cs.CL· Kaiqu Liang, Jaime Fern\'andez Fisac, Thomas L. Griffiths, Andrew Lampinen·· 11 小时前AI 评分58
论文发现语言智能体记忆陷阱：良性交互记忆会过度泛化
The Memory Trap: Language Agents Overgeneralize from Benign Interactions
AI 导读
arXiv 论文提出语言智能体的“记忆陷阱”，即来自良性交互的持久记忆会导致后续任务出现不安全或不可靠行为。
正文 · AI 翻译
摘要：语言智能体越来越多地使用持久记忆来记录跨会话的用户偏好和流程。我们表明，来自良性交互的记忆可能导致后续任务中出现不安全或不可靠的行为。我们将这种失败称为记忆陷阱。为研究这一问题，我们在六个前沿模型（包括 Claude Sonnet、Opus 和 Fable 模型以及 GPT-5.6）中比较了有记忆和无记忆会话中的行为。我们在多种设置下评估这些模型。首先，在自主性实验中，我们发现，在低风险编码杂务中要求跳过确认的请求，会导致智能体在编码和日常生活中模拟的高风险任务上跳过确认和验证。接下来，我们研究用户寻求情感支持或描述因不加批判的反馈而受到伤害时形成的记忆，发现这些记忆会使后续对数学工作、论证和诗歌的评判分别偏向谄媚或过度批评。在合法的陈旧测试修复期间写下的记忆笔记，会导致智能体削弱能够发现失效防护措施的正确测试；这些记忆还会增加在 ImpossibleBench 上的作弊行为，且对更强的 Sonnet 和 Opus 模型增幅更大。我们表明，记忆陷阱既可能源于记忆写入中的过度概括，也可能源于依据记忆行动时。这些发现表明，即使是良性交互也可能因记忆系统带来严重风险，因此需要开展新研究以确保智能体保持其记忆的范围。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.07554 [cs.CL] |
| （或 arXiv:2611.07554v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.07554 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Kaiqu Liang [查看电子邮件]
[v1]
2026年11月5日星期四 07:01:59 UTC（492 KB）
来源：arXiv cs.CL · arxiv.org