Recurrent Looped Transformer（RLT）：让 Transformer 计算深度随序列长度增长

Recurrent Looped Transformer（RLT）将层拆分为并行因果编码器与循环解码器，解码器在每个 token 处把编码器输出与上一 token 的最终解码状态合并，使计算路径随序列长度增长而单 token 成本固定。在六项算法任务上，研究用三种随机种子对比了八层的五种拆分方案与八层 Transformer，训练序列最长 40 bits。