研究者提出动态记忆Transformer混合架构

Yannis Bendi-Ouis 等作者提出 Dynamical Memory Transformer（DMT）混合架构，将序列编码与信息读取分开。编码器由多个动力系统记忆单元组成，这些单元以复数对角循环矩阵实现，并由与输入相关的泄漏率控制更新；解码器用注意力直接读取其输出，不经过 token 历史。作者称该设计以恒定成本注意力实现选择性循环记忆。相关论文发布在 arXiv cs.AI。

AI 根据报道生成 · 46 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。