arXiv cs.CL· Lele Yang, Muxi Diao, Zhonghao Yan, Jiankang Chen, Bin Wen, Tingting Gao, Wentao Zhang, Kongming Liang, Zhanyu Ma, Weiran Xu·· 11 小时前AI 评分29
LooM：面向因果编码器-解码器语言模型的循环不变记忆机制
LooM: Loop-Invariant Memory for Causal Encoder-Decoder Language Models
AI 导读
LooM 提出一种循环不变记忆机制，在因果编码器-解码器中仅循环第一层之后的解码器层，每层只在首次访问某个 token 时写入 KV 条目，使缓存不随循环次数增长。该设计支持每个 token 3 至 21 次层执行的任意预算，单个在随机预算上训练的模型即可覆盖全部预算且无需路由器。在相同缓存大小下，LooM 在语言建模、零样本准确率和长上下文困惑度上均优于单次前向基线。
正文 · AI 翻译
摘要：循环 Transformer 通过重复执行共享层来增加有效深度，但三个局限阻碍了它们的采用：内存随循环次数增长，计算只能以整块为步长调整，且训练后循环次数难以更改。我们提出 LooM（Loop-invariant Memory，循环不变内存），逐一解决这些问题。在因果编码器-解码器（CED）中，LooM 仅循环第一个之后的解码器层，这些层读取每个 token 写入一次的全局内存，且每一层仅在首次访问某个 token 时发布该 token 的键值（KV）条目，因此缓存不会随循环次数增长。这些层独立循环，为每个 token 提供从 3 到 21 次层执行的任意预算，且一个在随机采样预算上训练的模型即可覆盖所有这些预算，无需路由器。在循环次数足够时，LooM 在语言建模、零样本准确率和长上下文困惑度上均优于在相同数据上训练的单次前向基线，同时使用相同的缓存大小。我们的分析进一步表明，训练预算分布决定了额外深度能带来什么。这些结果表明，CED 是循环的自然场所：内存只写入一次，深度成为部署时选择的预算。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.06835 [cs.CL] |
| （或 arXiv:2611.06835v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.06835 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Muxi Diao [查看邮箱]
[v1]
2026年11月4日星期三 17:52:11 UTC（120 KB）
来源：arXiv cs.CL · arxiv.org