arXiv cs.AI· Yannis Bendi-Ouis (Mnemosyne), Xavier Hinaut (Mnemosyne)·· 1 天前AI 评分34
Dynamical Memory Transformer：用恒定成本注意力实现选择性循环记忆
Dynamical Memory Transformer: Selective Recurrent Memories with Constant Cost Attention
AI 导读
Dynamical Memory Transformer（DMT）是一种混合架构，将序列编码与信息读取分离：编码器由多个以复数对角循环矩阵实现的动力系统记忆单元组成，由输入相关的泄漏率控制更新，解码器用注意力直接读取其输出而不经过 token 历史。
正文 · AI 翻译
摘要：Transformer 会保留序列的显式历史，使注意力能够直接检索过去的表示。然而，KV-Cache 的大小以及生成新 token 的开销会随上下文长度增长。状态空间模型将过去压缩为固定大小的循环状态，代价是可寻址性降低。我们提出动态记忆 Transformer（DMT），这是一种将序列编码与信息读取分离的混合架构。编码器使用多个记忆单元，每个记忆单元由一个具有复对角循环矩阵的动力系统实现。输入相关的泄漏率控制它们的更新。解码器随后使用注意力读取并组合它们的输出，而无需经过 token 历史。该循环的表述允许在固定维度下进行总工作量为 O(T )、并行深度为 O(log T ) 的关联扫描。在自回归推理期间，循环状态和卷积缓存的大小保持固定。我们在认知和语言建模任务上将 DMT 与 Mamba 和 Transformer 进行比较，并展示其优势与局限：DMT 在若干认知任务上取得最佳结果，语言建模性能接近 Transformer，但在语言建模上仍落后于 Mamba。在选择性复制任务上，DMT 还表现出比 Mamba 和 Transformer 更强的长度外推能力。这些结果表明，并行动态记忆单元是一种在序列上保留和使用信息的有前景的机制。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.41850 [cs.AI] |
| （或 arXiv:2610.41850v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.41850 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yannis Bendi-Ouis [查看电子邮件] [通过 CCSD 代理]
[v1]
2026 年 10 月 30 日星期五 15:06:37 UTC（996 KB）
来源：arXiv cs.AI · arxiv.org