MemT-1.0 提出记忆原生基础模型架构并开源 Nano 与 Flash 版本
MemT-1.0: Towards Memory-Native Evolution
MemT-1.0 提出把记忆内化为模型计算一部分的记忆基础模型架构，基于 Metis 采用 Gated DeltaNet-2 与稳定的 token 级记忆更新机制，并引入 Mixture-of-Storage 扩展原生记忆容量。
作者：Zhiyu Li、Zeyu Zhang、Linyun Liu、Yiwei Bu、Chenyang Xi、Xichong Zhang、Yi Yu、Yu Yu、Zhichen Liu、Yuxiao Yi、Chunyu Li、Haoran Liu、Zhenkai Ding、Le Zhou、Juncheng Zhang、Boyu Chen、Zehao Lin、Guorui Li、Renyu Fu、Ji Li、Youyang Xia、Jiajun Shen、Harvey Li、Jingsong Zhou、Helan Hu、Tong Shen、Tianxiao Xu、Chenye Han、Weijie Li、Zhongquan Zhou、Hongming Xu、Yuekeng Li、Erenkai Zhu、Peng Yu、Wenhao Li、Jingyi Kang、Xixuan Hao、Xuzhou Zhu、Can Chen、Jiawei Liu、Chen Jiang、Tao Jiang、Fangwei Xiang、Zepeng Yao、Kai Chen、Guang Yang、Mingfei Lu、Chunhui Li、Zhengxuan Jiang、Bo Tang、Shiyu Zhan、Yihang Sun、Jie Chu、Wenjun Xiong、Zhenxiang Hua、Chen Lin、Detong Su、Dongyu Deng、Qiuping Ding、Guofeng Ding、Si Chen、Guohua Wen、Xu Chen、Zhi-Qin John Xu、Ying-Cong Chen、Ningyu Zhang、Haofen Wang、Muning Wen、Haotian Chen、Wentao Zhang、Xuanhe Zhou、Rita Zhang、Junchi Yan、Feiyu Xiong
摘要：记忆原生演化要求将记忆作为基础模型的内在能力，使其能够持续积累和利用信息。为此，我们推出 MemT-1.0，这是一种将记忆内化为模型计算一部分的记忆基础模型新架构。MemT-1.0 基于 Metis 构建，采用 Gated DeltaNet-2，并在每一轮内具备稳定的 token 级记忆更新机制。我们进一步引入 Mixture-of-Storage 以扩展原生记忆容量。在审慎的主干准备之后，我们开发了由持续预训练和后训练组成的两阶段训练流程，并由 34B tokens 的训练数据以及高效的训练和推理基础设施提供支持。我们发布了包含 MemT-1.0-Nano 和 MemT-1.0-Flash 的模型系列，并对记忆能力和通用能力进行了全面评估。结果表明，它们在平均表现上优于参数化记忆基线，并与检索增强方法保持竞争力，同时基本保留了通用能力。在 128K tokens 的历史长度下，MemT-1.0-Nano 相对于完整上下文 KV cache 实现了约 $1.86\times$ 的端到端推理加速和 $66\times$ 的持久存储减少。通过内化检索到的程序性经验，MemT-1.0 提升了智能体任务的任务成功率，为记忆原生演化迈出了切实的一步。
| 评论： | 66 页，15 张图，16 张表 |
| 主题： | 计算与语言 (cs.CL)；机器学习 (cs.LG) |
| 引用为： | arXiv:2610.26825 [cs.CL] |
| （或 arXiv:2610.26825v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.26825 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zhiyu Li [查看邮箱]
[v1]
2026 年 10 月 19 日星期一 17:54:35 UTC（5,326 KB）
[v2]
2026 年 10 月 20 日星期二 14:30:38 UTC（5,326 KB）
来源：arXiv cs.CL · arxiv.org