arXiv cs.AI· Eric Zou·· 4 小时前AI 评分26
用文本记忆智能体测试"过拟合大脑假说":LLM 会做梦吗?
Can an LLM dream? Testing the overfitted brain hypothesis on an agent with text memory
AI 导读
研究用 Claude Opus 5.5 智能体在 LongMemEval 构建的十个模拟对话日上测试 Hoel(2021)的"过拟合大脑假说",每晚按当日对话记录重写文本记忆,并对 5%–40% 的对话轮次做细节篡改或随机文本注入。
正文 · AI 翻译
摘要:Hoel(2021)提出,梦会扭曲被重放的经历,以免大脑对近期事件过拟合。我们在一个 LLM 智能体(Claude Opus 5.5)上检验这一假设,该智能体将所学内容存入文本记忆,并每晚根据当天的对话记录重写该记忆。该智能体经历了十个模拟对话日,这些对话由 LongMemEval 构建。在每晚重写之前,我们以两种方式之一破坏对话记录中 5%、10%、20% 或 40% 的轮次。细节破坏会将一个轮次中的一两个细节改为看似合理的错误细节,或用同一说话者更早某天的一个轮次替换该轮次。随机文本破坏会将所选轮次中的一半替换为《白鲸》的一段文字,并将《白鲸》中的词插入另一半。记忆的容量上限在十个夜晚中从 19,500 个 token 升至 117,000 个 token,该上限根据人类自由回忆数据设定,迫使它遗忘。我们发现,在全部 30 次运行(十种条件、三种不同的对话历史)中,破坏都没有帮助智能体将早先对话中学到的内容应用到新任务上。替换 40% 轮次中的细节使回忆率从 76% 降至 60%。随机文本对回忆率没有一致影响,在 40% 时配对差异为 0 $\pm$ 2 个百分点,因为模型将其识别为损坏内容并将其排除在记忆之外。被替换的细节即使另一轮次包含正确值,也会被作为事实存储,智能体对这些问题的回答正确率为 40%,而无破坏时为 75%。这些结果表明,预训练模型能够将损坏文本与真实事件区分开,因此公平的测试需要一个无法如此轻易做出这种区分的学习者,例如在损坏日上微调的模型,或一个其日子发生在一个虚构世界中的智能体。
| 评论: | 13 页,7 幅图,2 张表。代码和数据:此 https URL |
| 主题: | 计算与语言(cs.CL);人工智能(cs.AI) |
| 引用为: | arXiv:2611.21648 [cs.CL] |
| (或 arXiv:2611.21648v1 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.21648 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Eric Jujian Zou [查看电子邮件]
[v1]
2026 年 10 月 14 日星期三 20:44:10 UTC(104 KB)
来源:arXiv cs.AI · arxiv.org