arXiv cs.AI· Chanakya Ekbote, Artidoro Pagnoni, Devendra Singh Sachan, Shruti Bhosale, Mike Lewis, Maryam Fazel-Zarandi, Shashank Rajput, Sujan Kumar Gonugondla·· 13 小时前AI 评分34
Transformer 循环之道：循环扩展、特化与并行推理
How to Loop Your Transformer: Loop Scaling, Specialization, and Parallel Inference
AI 导读
从头训练的稠密 decoder-only Transformer 实验显示，在固定参数预算下循环整个 Transformer 质量最佳，而训练 FLOPs 受限时循环中间层块回报更高。
正文 · AI 翻译
摘要：Transformer 模型中的循环通过重复应用同一个 transformer 或其部分来复用权重，从而在不增加参数量的情况下加深模型。循环是否有用取决于哪一项约束占主导：模型规模、训练算力，还是自回归推理效率。我们在从零训练的稠密 decoder-only transformer 中联合研究这些权衡，改变模型中哪些部分被循环、循环多少次，以及循环之间如何传递信息。我们的实验涵盖最多 1B 参数的模型，在最多 155B token、最多 $1.07\times10^{21}$ FLOPs 和 32 次循环的条件下训练。我们发现，在固定参数预算下，循环整个 transformer 通常能带来最佳质量；而当训练 FLOPs 受限时，循环中间层块能带来更好的回报。增加循环并非一致有益：收益最终会饱和、反转或变得不稳定。这促使我们思考：强制每个循环使用相同权重是否会限制更深循环的收益。为此，我们加入小型、循环专属的低秩适配器，从而提升质量，且循环越多收益越大。循环 transformer 还会遭受与循环次数成正比的解码减速。并行循环 Transformer 通过跨相邻 token 位置在循环之间传递隐藏状态来解决这一问题，使各循环阶段能够并发运行。然而，在我们的实验中，原始公式并不能稳定保留普通循环的质量收益。我们发现，保留当前 token 的嵌入，并在合并前将其与前一 token 的隐藏状态分别归一化，可在不同模型规模和训练预算下恢复强劲性能。总之，这些结果表明，有效的循环需要使设计与资源约束和推理场景相匹配。
| 评论： | 含附录共 149 页。预印本 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.40325 [cs.LG] |
| （或本版本的 arXiv:2610.40325v1 [cs.LG]） | |
| https://doi.org/10.48550/arXiv.2610.40325 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Sujan Kumar Gonugondla [查看邮箱]
[v1]
2026年10月29日 星期四 15:56:09 UTC（5,376 KB）
来源：arXiv cs.AI · arxiv.org