arXiv cs.AI· Ciaran Regan, Kai Arulkumaran, Luke Darlow, Stefania Druga, Sebastian Risi, Llion Jones·· 10 天前AI 评分26
Continuous Memory Machine（CMM）：矩阵值长短时记忆的循环架构
Continuous Memory Machines
AI 导读
研究者提出 Continuous Memory Machine（CMM），一种在 Continuous Thought Machine（CTM）基础上构建的循环架构，用矩阵值的短期与长期记忆状态承担不同功能，并由一个 Transformer 联合更新两个记忆库，实现双向读写。
正文 · AI 翻译
摘要：循环神经网络通常将信息压缩为单个向量值的循环状态，迫使短期计算和长期保留共享同一表示。以往的扩展通过增加记忆容量或分离时间尺度来缓解这一瓶颈，但缺乏生物学中那种快速的神经元级处理与较长期保留的结合。为此，我们提出了连续记忆机（CMM），这是一种具有矩阵值短期和长期记忆状态的循环架构，二者承担不同的功能角色。基于连续思维机（CTM），CMM 的短期记忆跟踪近期神经活动，具有独特参数化的神经元级模型学习利用这些活动模式进行计算。持久长期记忆存储信息以供后续使用，一个 Transformer 联合更新两个记忆存储，提供富有表现力的双向读写机制，使得每个存储都能重组自身内容，并相互读取和写入。在算法、上下文学习和循环推理任务中，CMM 优于广泛的基线套件，展现出比先前记忆增强网络更强的泛化能力，同时保留了 CTM 可解释的注意力模式。代码可在 此 https URL 获取。
| 评论： | NeurIPS 2026 研讨会：面向 AI 系统的个性化、对齐、长期记忆（PALM） |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.07907 [cs.AI] |
| （或 arXiv:2610.07907v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.07907 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ciaran Regan [查看电子邮件]
[v1]
2026年10月6日星期二 07:52:50 UTC（2,545 KB）
来源：arXiv cs.AI · arxiv.org