arXiv cs.CL· Sarah Pan, Ali Behrouz·· 3 天前AI 评分44
Titan-Llama：为预训练 LLM 加装外部神经记忆模块
Titan-Llama: Retrofitting Pre-trained LLMs with External Neural Memory Modules
AI 导读
Titan-Llama 是一种后训练方法，通过分层记忆架构为注意力语言模型加装可在测试时更新参数的神经记忆模块（NMMs），无需从头训练即可替换预训练注意力层。
正文 · AI 翻译
摘要：Transformer 之所以能够高效地大规模预训练，是因为注意力机制允许在序列位置上进行并行计算，但长上下文推理需要越来越大的 KV 缓存。高效的循环替代方案降低了推理的渐近复杂度，但其顺序依赖性限制了训练时的逐 token 并行性，使其更难扩展。此外，当前扩展长上下文任务的范式在精确保留信息和保持长上下文推理高效之间产生了相互竞争的概念。为弥补这一差距，我们提出了 Titan-Llama，一种后训练方法，通过分层记忆架构对基于注意力的语言模型进行改造，该架构在测试时更新参数。Titan-Llama 应用分块注意力掩码，在近期 token 上保留全保真注意力，同时将历史上下文压缩为循环的固定大小神经记忆模块（NMM）。我们的公式允许替换预训练的注意力层，而无需从头训练新的语言模型。在 Llama-3.2-1B-Instruct 上，Titan-Llama 将分段注意力窗口的准确率在 QuALITY 上从 23.87\% 提升至 40.51\%，在 LongHealth 上从 14.50\% 提升至 40.75\%。推理基准测试显示，在所评估的配置中，预填充速度提升超过 20\%，中等上下文长度下解码速度提升 37\%，稳态解码内存使用降低 24\%。这些结果共同表明，结合利用测试时训练的记忆架构机制能够有效调节预训练模型的长上下文行为，为将预训练 Transformer 适配于高效长上下文推理提供了一条实用途径。我们的代码已在 Github 上发布 \href{this https URL}{GitHub}
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.19210 [cs.CL] |
| （或 arXiv:2610.19210v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19210 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Sarah Pan [查看电子邮件]
[v1]
2026年10月13日星期二 21:23:58 UTC（865 KB）
来源：arXiv cs.CL · arxiv.org