arXiv cs.CL· Cheng Liang, Tengfei Zhang, Wenjie DU, Jianyu Wu, Changlian Ma, Shuchen Pu, Ya Zhang, Yanfeng Wang, Zhouhan Lin·· 11 小时前AI 评分31
Asymmetric Looped Transformer（AsymLoop）：固定全局表示的迭代解码器架构
Asymmetric Looped Transformers: Fixed Global Representations for an Iterative Decoder
AI 导读
研究者提出 Asymmetric Looped Transformer（AsymLoop），将单次上下文编码与循环状态精炼分离：单次因果编码器生成跨迭代固定的全局 KV cache，权重共享的循环解码器从演化状态生成 Local KV，二者在单一 softmax 下联合注意力。
正文 · AI 翻译
摘要：循环 Transformer 通过重复应用共享层来增加有效深度，从而在不增加参数量的情况下扩展计算规模。然而，全栈循环将上下文构建与迭代状态细化置于同一循环计算中，未明确区分二者的作用。我们提出非对称循环 Transformer（AsymLoop），将单次前向的上下文编码与循环状态细化分离。单次前向的因果编码器生成层特定的全局键值（KV）缓存，该缓存在各次迭代中保持固定；而权重共享的循环解码器则从其演化状态中生成局部 KV。在单一 softmax 下对两种来源进行联合注意力计算，使每次更新都能将持久上下文信息与当前中间状态相整合。在训练方面，我们对编码器和解码器采用重尾引导的逐层学习率方法。在 FineWeb-Edu 上跨四种模型规模（从 60M 到 1B）的实验表明，在有效深度和训练 token 预算匹配的情况下，其验证困惑度始终低于 Full Loop，下游平均准确率始终更高。在 1B 规模下，AsymLoop 将七个常识推理基准的平均零样本准确率从 49.58% 提升至 50.85%。进一步实验将这些收益扩展至更长的训练预算、OLMo 风格骨干网络以及稀疏混合专家模型。这些结果支持将非对称上下文编码与状态细化作为循环语言模型的一种有效设计。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.28489 [cs.CL] |
| （或 arXiv:2610.28489v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28489 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Cheng Liang [查看邮箱]
[v1]
2026年10月20日 星期二 16:36:33 UTC（236 KB）
来源：arXiv cs.CL · arxiv.org