斯坦福 SNAP 开源 Memorilla：为冻结 LLM 提供潜在记忆模块
斯坦福开源 Memorilla：为冻结 LLM 提供潜在记忆模块
斯坦福 SNAP 团队开源 Memorilla，一个 194M 参数的可训练记忆模块，把整个文档集合压缩成 16 个 memory token 供冻结 LLM 使用，编码器 Qwen3-Embedding-4B 与解码器 Qwen3-8B 均保持冻结。
MarkTechPost· Asif Razzaq·2026-11-14 18:21· 3 小时前AI 评分42
斯坦福研究团队开源 Memorilla，一个用于冻结 LLM 的潜在记忆模块
AI 导读
斯坦福 SNAP 团队开源 Memorilla，一个 194M 参数的可训练记忆模块，把整个文档集合压缩成 16 个 memory token 供冻结 LLM 使用。
正文 · 原文
斯坦福研究人员发布了 Memorilla，一个面向 LLM 的开源记忆系统。Memorilla 记忆系统读取整个文档集合，只向冻结的 LLM 提供 16 个 memory token。在 FactKG 上，冻结的 Qwen3-8B 配合 Memorilla 得分 84.33%，而将所有文档放入上下文的得分为 80.43%。它使用的文档 token 数量少了 108 倍。代码、训练配方和检查点以 Apache 2.0 许可公开。你可以通过我们的 GPULeaderboard.com chrome 扩展查看部署选项和规格。
TL;DR
- 规模：194M 参数的可训练记忆模块。无论集合大小如何，它始终输出 16 个 memory token。编码器（Qwen3-Embedding-4B）和解码器（Qwen3-8B）保持冻结。
- 运行环境：Linux，配备 CUDA GPU 和 Python 3.11。快速开始需要 1 块 80 GB 的 GPU（配方在 H100 80GB 上运行）。未披露量化版本。
- 性能：在 8 个基准测试中报告的平均分最高（49.68），在 8 个中的 5 个上得分最高。
- 最佳：PersonaMem-v2 准确率 44.60%，而完整上下文为 27.92%。
- 最差：PubMedQA 准确率 59.00%，而 LLMLingua-2 为 69.00%。
什么是 Memorilla？
Memorilla 是一个记忆模块，可将文档集合转换为 16 个向量，供冻结的 LLM 使用。这项工作来自 Jure Leskovec 的 SNAP 团队，合著者来自多伦多大学、宾夕法尼亚大学和 MIT。
冻结的 LLM 只能使用其上下文窗口中的内容。随着历史增长，完整上下文提示的扩展速度会变慢。检索会粘贴与问题最相似的片段，可能遗漏较弱的线索。Memorilla 采用第三条路线：它从整个存储中学习每个问题需要什么。
Memorilla 如何工作？
流程分为 3 步：
- 一次性编码。冻结的 Qwen3-Embedding-4B 对每个文档仅嵌入一次。新文档永远不会强制重新编码旧文档。
- 按问题读取。16 个学习到的槽位关注问题和完整存储。该模块使用 2 层交叉注意力，每层 8 个头。
- 注入。这些槽位被投影到 Qwen3-8B 的输入嵌入空间，并前置到问题之前。
只有记忆模块参与训练：对于 8B 解码器，共有 194,123,776 个参数。训练分 3 个阶段进行。阶段 1 使用约 1.98M 个 Wikipedia 释义重建示例。阶段 2 增加来自 10 个 QA 和摘要数据集的约 1.34M 个示例。阶段 3 在所有 8 个基准测试上微调。完整配方在 4 块 H100 GPU 上耗时约 19 小时。
Memorilla 在基准测试上的表现如何？
根据论文主表，所有基线均使用相同的冻结 Qwen3-8B。分数由研究团队自行报告。
- FactKG：准确率 84.33%，而完整上下文为 80.43%，MemoRAG 为 80.38%。
- PersonaMem-v2：44.60%，而次优方法 xRAG 为 30.90%。
- TriviaQA：精确匹配 57.00，略高于 MemoRAG 的 56.60。
- LaMP-4 / LaMP-7：ROUGE-L 分别为 18.15 和 48.37，均为最佳分数。
- 平均：49.68，而 xRAG 为 41.92，LLMLingua-2 为 40.75，Mem0 为 38.02。
Memorilla 在 3 个基准测试上落败。在 PubMedQA 上它得分为 59.00%，而 LLMLingua-2 达到 69.00%。这些摘要总共只有 324 个 token，因此压缩收益很小。MemoRAG 在 PersonalizationV4（67.88% 对 66.65%）和 NarrativeQA ROUGE-L（20.51 对 19.31）上领先。MemoRAG 在那里使用的文档 token 分别多出约 690 倍和 50 倍。
压缩在 NarrativeQA 上达到峰值：16 个 token 替代 67,385 个文档 token，缩减 4,212 倍。作为智能体记忆，8 个记忆 token 将 Qwen3-4B TextWorld 智能体的平均成功率从 18.6% 提升到 24.2%。
与完整上下文相比，Memorilla 有多快？
在 1 块 H100 上，Memorilla 在 512 个文档（约 128K token）时用 0.74 秒作答。完整上下文从 0.75 秒减慢到 19.9 秒，即慢了 27 倍。记忆模块本身耗时约 2 毫秒。
可选的 记忆缓存 会预计算交叉注意力键和值。在 1 块 B200 上，一个问题在 1M 文档时耗时 8.1 毫秒，在 4M 时耗时 33 毫秒。使用 torch.compile 时，1M 的情况降至 5.0 毫秒。该缓存在 4M 文档时占用 80 GiB。
如何运行 Memorilla？
在 Linux 上使用 uv 安装，然后加载 MemoryVLLM.from_pretrained。首次运行会下载约 25 GB 的模型。检查点位于 memorilla/Memorilla-Qwen3-8B，分为 Stage 1、2、3、PV4 和 PMv2 文件夹。
每个检查点必须使用其训练时所用的解码器运行（评估文档）。自定义数据需要包含 collection_id、question、answer 和 documents 列的 parquet 文件。研究团队还发布了 PersonalizationV4：149 个合成用户，每人 200 段对话，采用 CC BY 4.0 许可。
Memorilla 与 Mem0、MemoRAG 和 xRAG 对比
基准分数来自 Memorilla 的论文，该论文在相同的 Qwen3-8B 上运行了所有基线。许可证来自各项目的代码库。
| Memorilla（论文） | MemoRAG（代码库） | Mem0（代码库） | xRAG（代码库） | |
|---|---|---|---|---|
| 方法 | 学习到的潜在记忆 token | 记忆模型引导检索 | 提取的文本记忆 | 1-token RAG 压缩（论文） |
| 每次查询的文档 token 数（几何平均） | 16 | 784 | 212 | 1 |
| LLM 读取的内容 | 16 个软记忆嵌入 | 检索到的文本 | 检索到的记忆文本 | 1 个投影嵌入 |
| 许可证 | Apache 2.0 | Apache 2.0 | Apache 2.0 | 未披露 |
| FactKG（准确率） | 84.33 | 80.38 | 72.79 | 78.98 |
| PersonaMem-v2（准确率） | 44.60 | 28.76 | 27.48 | 30.90 |
| PubMedQA（准确率） | 59.00 | 67.00 | 24.00 | 36.00 |
| NarrativeQA（ROUGE-L） | 19.31 | 20.51 | 13.80 | 16.92 |
| 8 个基准的平均值 | 49.68 | 47.52（我们的计算） | 38.02 | 41.92 |
关键要点
- 16 个记忆 token 为冻结的 Qwen3-8B 替代整个文档集合。
- FactKG：84.33% 对完整上下文的 80.43%，token 少 108 倍。
- 报告的最高 8 基准平均值：49.68。
- 弱点：PubMedQA 为 59.00%，以及细粒度事实。
- Apache 2.0 代码；Hugging Face 上的 194M 参数检查点。
查看 论文， 浏览 GitHub 代码库，并下载 检查点。你可以通过我们的 GPULeaderboard.com chrome 扩展 在此查看部署选项和规格。
另外，欢迎在 Twitter 上关注我们，别忘了加入我们的 150k+ ML SubReddit 并订阅 我们的新闻通讯。等等！你在 Telegram 上吗？现在你也可以在 Telegram 上加入我们。
需要与我们合作推广您的 GitHub 仓库、Hugging Face 页面、产品发布或网络研讨会等吗？ 联系我们
文章 Stanford Research Open-Sources Memorilla, a Latent Memory Module for Frozen LLMs 首次发表于 MarkTechPost。
来源：MarkTechPost · marktechpost.com
来源：RadarAI · aihot.news