arXiv cs.AI· Adibvafa Fallahpour, Parsa Idehpour, Vignesh Kothapalli, Nikita Mounier, Shirley Wu, Shayan Pardis, Jure Leskovec·· 2 天前AI 评分39
Memorilla：为 LLM 提供潜在语义记忆
Memorilla: Latent Semantic Memory for LLMs
AI 导读
Memorilla 是一种面向冻结 LLM 的记忆系统，可将整个文档集合编码为可复用嵌入，并学习把查询相关信息放入模型的输入嵌入空间，仅用 16 个 memory tokens 即可完成检索。
正文 · AI 翻译
摘要：记忆使大型语言模型（LLM）能够使用其参数之外的信息，例如过去的用户对话、长文档或智能体先前的操作。对于冻结的 LLM，获取这些累积知识仅限于记忆系统放入其上下文窗口中的内容。然而，现有系统在保持模型上下文简短的同时，为每个查询收集和组合所需的相关信息仍然具有挑战性。在此我们介绍 Memorilla，一种记忆系统，它将整个文档集合中的信息收集为固定数量的、依赖于查询的“记忆令牌”，供冻结的 LLM 使用。Memorilla 将文档（如用户聊天、书籍章节）一次性编码为可复用的嵌入，然后学习在 LLM 的输入嵌入空间中检索并放置特定于查询的信息。仅使用 16 个记忆令牌，Memorilla 在涵盖个性化、长文档和知识密集型问答的八个基准中的五个上，取得了优于包括 Mem0 和 MemoRAG 在内的基线的性能。值得注意的是，在 FactKG 上，它达到了 84.33% 的准确率，而全上下文推理为 80.43%，同时用于表示源文档的令牌数减少了 108 倍。此外，Memorilla 可以促进智能体系统中的持续学习，其中文档数量（智能体过去的轮次）在整个轨迹中不断增加。在 TextWorld 环境中，我们表明 Memorilla 减少了智能体在已探索房间之间徘徊的倾向，并将其平均成功率从全历史上下文学习的 18.6% 提高到 24.2%。总体而言，Memorilla 帮助冻结的 LLM 在长上下文交互中有效地积累和使用知识，并朝着构建持续学习的 AI 系统迈出了一步。
| 评论： | 网站：this https URL |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.21375 [cs.LG] |
| （或 arXiv:2610.21375v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21375 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Vignesh Kothapalli [查看电子邮件]
[v1]
2026年10月15日星期四 06:55:55 UTC（3,660 KB）
来源：arXiv cs.AI · arxiv.org