arXiv cs.AI· Alexey Zemtsov, Albina Klepach, Vadim Lomshakov, Andrei Polubarov, Nikita Lyubaykin, Alexander Derevyagin, Vladislav Kurenkov, Alexander Nikulin·· 3 天前AI 评分22
循环 Transformer 的块状共形注入：让循环步骤学会追踪状态
Rotate the Loop: Blockwise Conformality for Looped Transformers
AI 导读
研究提出"块状共形注入"方法，将循环 Transformer 的残差拆分为坐标对齐的组并在各组内旋转，使每组拥有独立时间尺度而组内几何保持精确。实验显示该方法在末 token 准确率这一状态追踪任务和语言建模上均取得性能提升。论文被 NeurIPS 2026 Workshop "Transitioning from Pre-Training to Post-Training" 接收。
正文 · AI 翻译
摘要：循环 Transformer 在多个循环步骤中复用同一个共享块，因此深度成为一种可在运行时消耗的量，而不是由不同层堆叠而成。这些额外的步骤只有在某一步循环中写入的内容在后续步骤中仍可读取时才有帮助，而这取决于循环步骤之间施加于残差上的线性映射。我们表明，循环是否学会跟踪状态是一个关于该映射形式的几何问题，并提出了分块共形注入：残差被拆分为坐标对齐的组，并在每组内旋转，因此每个组都有自己的时间尺度，同时其内部几何保持精确。我们的实验表明，在一种要求苛刻的状态跟踪形式——即在前缀其余部分已经正确时的最后一个 token 准确率——以及语言建模（其中较早写入的信号必须在序列末尾被检索）上，性能都有所提升。
| 评论： | 已被 NeurIPS 2026 研讨会“从预训练过渡到后训练”接收 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；机器学习（stat.ML） |
| 引用为： | arXiv:2610.14030 [cs.LG] |
| （或 arXiv:2610.14030v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14030 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Alexey Zemtsov [查看电子邮件]
[v1]
2026年9月30日星期三 23:32:34 UTC（141 KB）
来源：arXiv cs.AI · arxiv.org