arXiv cs.CL· Nicola Zanarini, Niccol\`o Ferrari, Evelina Lamma·· 12 小时前AI 评分31
Graph Memory Transformer（GMT）：用可学习记忆图替代 Transformer 的 FFN 子层
Graph Memory Transformer (GMT)
AI 导读
论文提出 Graph Memory Transformer（GMT），用可学习的记忆图替代 decoder-only Transformer 中的 FFN 子层，因果自注意力保持不变。
正文 · AI 翻译
摘要：我们研究一个显式学习到的记忆图能否在仅解码器 transformer 中替代前馈网络（FFN）子层，同时保留周围的自回归架构。在提出的图记忆 Transformer（GMT）中，记忆单元通过一个学习到的质心库（由学习到的有向转移矩阵连接）对 token 表示进行路由，而因果自注意力保持不变。在基础 v7 实例中，16 个 transformer 块各包含 128 个质心和 128 x 128 的边矩阵。每个单元使用引力源路由和以 token 为条件的目标选择，返回从估计的源记忆状态向目标记忆状态的门控位移，而不是检索到的值。所得仅解码器语言模型具有 82.2M 可训练参数，且没有稠密 FFN 子层；所评估的稠密 GPT 风格基线具有 103.0M。它训练稳定，并在前向计算中暴露质心使用情况、转移结构和源到目标移动，以供直接检查。它在验证损失和困惑度上落后于更大的基线（3.5995/36.58 对 3.2903/26.85），同时在所评估的设置下表现出接近的零样本基准行为。这些结果支持用图介导的记忆导航替代稠密的 token 内变换的可行性和结构可解释性，但不声称达到最先进性能。更大规模的扩展、优化的内核以及更广泛的基准评估仍留待未来工作。
| 评论： | 48 页，10 幅图，5 个编号表格。修订稿包含选定的生成消融实验和编辑修订。代码可在 此 https URL 获取 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| ACM 分类： | I.2.6；I.2.7 |
| 引用为： | arXiv:2604.23862 [cs.LG] |
| （或 arXiv:2604.23862v4 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2604.23862 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Niccolò Ferrari [查看电子邮件]
[v1]
2026 年 4 月 26 日星期日 20:09:25 UTC（6,149 KB）
[v2]
2026 年 5 月 27 日星期三 15:28:10 UTC（6,150 KB）
[v3]
2026 年 5 月 28 日星期四 09:21:15 UTC（6,150 KB）
[v4]
2026 年 10 月 22 日星期四 14:23:49 UTC（6,173 KB）
来源：arXiv cs.CL · arxiv.org