arXiv cs.CL· Feichen Song, Boyi Zeng, He Li, Shixiang Song, Yiqin Hao, Zitong Wang, Yizhou Yang, Yifan Liu, Ziwei He, Zhouhan Lin·· 14 小时前AI 评分26
StateLoop：为循环 Transformer 引入持久状态
StateLoop: Persistent State for Looped Transformers
AI 导读
StateLoop 为循环 Transformer 的每个 token 额外维护一份持久状态，通过可学习门控在每次迭代中控制旧状态保留比例与新信息写入量，更新后的状态投影回主干输出用于后续迭代和最终预测。该设计降低了 Pile 困惑度，并在八项零样本任务上提升了平均准确率；相比 Vanilla Looped，其困惑度优势随训练循环深度增加而扩大。
正文 · AI 翻译
摘要：循环 Transformer 通过反复应用共享主干，为语言建模提供了一种参数高效的方法。普通循环 Transformer 直接将每次主干的输出作为下一次迭代的输入。这些输出可能包含在若干次迭代之后仍有用的信息，但能否在循环中保留这些信息完全取决于单一的隐藏状态。我们提出 StateLoop，它为每个 token 额外维护一个持久状态，以便在迭代之间保留信息。在每次迭代中，一个学习到的门控控制保留多少先前状态，以及从主干输出中纳入多少信息。更新后的状态被投影回并加到主干输出上，用于后续迭代和最终预测。与普通循环 Transformer 相比，该设计降低了 Pile 困惑度，并提高了八项零样本任务的平均准确率。其相对于普通循环 Transformer 的困惑度优势随着训练循环深度的增加而增大，这与持久状态随着循环计算加深而变得愈发有用相一致。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.35544 [cs.CL] |
| （或 arXiv:2610.35544v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.35544 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Feichen Song [查看电子邮件]
[v1]
2026年10月26日星期一 14:53:49 UTC（1,254 KB）
来源：arXiv cs.CL · arxiv.org