Recurrent Looped Transformer：用循环反馈让计算路径随序列长度增长

查看 PDF HTML（实验性）

摘要：状态跟踪要求在每次输入时进行更新，但无论序列长度如何，Transformer 对每个 token 施加的深度都是固定的。我们提出了循环回环 Transformer（RLT），它将其层划分为并行的因果编码器和循环解码器。在每个 token 处，解码器将编码器输出与前一个 token 的最终解码器状态合并，因此计算路径随序列长度增长，而每个 token 的成本固定。在六个算法任务上，我们比较了八层的五种划分与八层 Transformer，使用三个随机种子。在最多 40 位的训练下，两种 RLT 划分将奇偶校验泛化到 256 位，在每个种子中均达到 100% 准确率，而 Transformer 保持在随机水平。在基于交换的 $S_5$ 排列跟踪任务上，测试长度为训练长度的八倍时，RLT 达到 97% 的最终状态准确率，而 Transformer 低于 1%，且准确率随解码器深度增加而提高。在超出训练长度的模运算上，RLT 达到最高 93%，而 Transformer 为 33%。消融实验表明，这些增益依赖于反馈：移除反馈会使奇偶校验和基于交换的 $S_5$ 在所有划分下都降至随机水平。每四个 token 块更新一次反馈，可以让一个块中已知的 token 并行运行，并将 64 位奇偶校验保持在 99%，而排列跟踪依赖于逐 token 反馈：分块将长度 64 的基于交换的 $S_5$ 从 100% 降至 20%。

提交历史

来自：Yifan Zhang [查看电子邮件]
[v1] 2026年10月6日星期二 01:29:46 UTC（1,042 KB）