arXiv cs.CL· Zitian Gao, Yilong Chen, Yihao Xiao, Xinyu Yang, Ran Tao, Joey Zhou, Bryan Dai·· 2 天前AI 评分58
Loopie 开源循环 Transformer：20B-A2B 与 6B-A0.6B 两款 MoE 模型
Loop the Loopies!
AI 导读
论文提出开源循环 Transformer 系列 Loopie，包含 20B 参数、2B 激活参数的 MoE 模型和 6B 参数、0.6B 激活参数的 MoE 模型。
正文 · AI 翻译
摘要：我们提出 Loopie，这是迄今为止最强大的开源循环 Transformer。Loopie 系列包含两个混合专家（MoE）模型：一个拥有 20B 参数、2B 激活参数的模型，以及一个拥有 6B 参数、0.6B 激活参数的模型。循环 Transformer 长期面临一个挑战：在给定 N 倍预训练计算量的情况下，将参数数量增加 N 倍通常优于循环 N 次。Loopie 解决了这一挑战。大量消融研究（包括与普通 30B-A3B 模型的比较）表明，在相同计算预算下训练时，Loopie 显著优于普通 Transformer 基线。借助一种新颖的后训练方法，Loopie 发展出强大的推理能力，并达到前沿水平的推理性能。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2607.16051 [cs.CL] |
| （或此版本的 arXiv:2607.16051v3 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2607.16051 由 DataCite 颁发 arXiv DOI |
提交历史
来自：Zitian Gao [查看电子邮件]
[v1]
2026年7月17日星期五 15:28:43 UTC（829 KB）
[v2]
2026年7月20日星期一 15:59:50 UTC（835 KB）
[v3]
2026年10月26日星期一 17:12:57 UTC（1,055 KB）
来源：arXiv cs.CL · arxiv.org