arXiv cs.AI· Yuwen Qu, Wenhui Dong, Camil Hamami, Ming Zhao, Chenyang Si, Caifeng Shan·· 14 小时前AI 评分38
NGM：一种面向 LLM 的免训练即插即用记忆模块
NGM: A Plug-and-Play Training-Free Memory Module for LLMs
AI 导读
研究者提出 N-gram Memory（NGM），一种免训练、即插即用的记忆模块，直接复用主干模型预训练的 token 嵌入空间作为记忆，由 Causal N-Gram Encoder 和 Cosine-Gated Memory Injector 两部分组成，无需额外嵌入训练或独立记忆库与外部检索设施。
正文 · AI 翻译
摘要：近期研究引入了记忆增强架构，将知识存储与神经计算解耦，从而能够更直接地访问存储的表示。然而，现有方法通常依赖学习到的记忆嵌入或显式的记忆与检索组件，需要额外训练或增加架构复杂度。为解决这些局限，我们提出 N-gram Memory（NGM），这是一个无需训练、即插即用的模块，将骨干模型预训练的 token 嵌入空间复用为记忆。NGM 由因果 N-Gram 编码器和余弦门控记忆注入器组成。前者通过直接聚合预训练 token 嵌入来构建 N-gram 表示，后者利用余弦相似度与 ReLU 门控来自适应控制注入上下文表示中的检索记忆量。与传统记忆增强架构不同，NGM 既不需要额外的嵌入训练，也不需要单独学习的记忆库或外部检索基础设施。我们在六个语言模型骨干上评估 NGM，涵盖两个模型系列和多种规模，包括四个 Qwen3 模型（0.6B、1.7B、4B 和 8B）和两个 Llama-3.2-Instruct 模型（1B 和 3B），共十个基准测试。NGM 在所有六个骨干上均持续提升了十任务平均值。值得注意的是，它将 HumanEval 提升了 4.26 个百分点、HumanEval+ 提升了 2.41 个百分点、GPQA-Diamond 提升了 6.56 个百分点。此外，NGM 还从纯文本语言模型扩展到视觉语言模型，Qwen3-VL-2B 在所有五个 VLM 基准上均取得提升。项目页面：this https URL
| 评论： | 17 页，4 幅图。修订稿包含扩展的实验与分析，并更新了作者信息。项目页面：this https URL |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2605.16893 [cs.AI] |
| （或 arXiv:2605.16893v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.16893 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yuwen Qu [查看邮箱]
[v1]
2026年5月16日星期六 09:12:52 UTC（140 KB）
[v2]
2026年10月26日星期一 14:26:14 UTC（239 KB）
来源：arXiv cs.AI · arxiv.org