arXiv cs.AI· Wenyu Du, Stephen Chung·· 13 小时前AI 评分31
CopyLoop：通过上下文复制与浅层筛选加速循环 Transformer 解码
CopyLoop: Fast Looped Transformer Decoding via Context Copying and Shallow Screening
AI 导读
CopyLoop 是一种免训练解码算法，用重复上下文提出多 token 后缀，并在浅层循环深度提前筛选错误分支，同时让新块与仍在向全深度验证推进的旧块并发处理。
正文 · AI 翻译
摘要：循环 Transformer 通过重复应用共享模块来提升计算容量，但其循环深度使得传统的全深度解码代价高昂。现有的投机式流水线通过在不同深度处理连续 token 位置来加速生成，但通常受限于顺序解码的开销。我们提出 CopyLoop，一种无需训练的解码算法，它将低成本的上下文复制提议与浅层筛选和连续循环调度相结合。CopyLoop 并非逐步生成，而是从重复的上下文中提出多 token 后缀。随后，它在浅层循环深度上对这些后缀进行早期评估，以高效过滤掉错误分支，并在较早的块仍在向全深度验证推进时，并发处理更新的块。我们在来自 Ouro、Raven 和 Huginn 系列的六个模型检查点上评估了 CopyLoop，涵盖代码生成和多步数学推理。在 Base 模型上，CopyLoop 相比全深度自回归解码实现了 2.98 倍至 10.70 倍的解码加速，在 Thinking 模型上实现了 2.74 倍至 3.52 倍的加速，在各评估任务上始终优于或接近所有竞争基线。此外，消融研究证实了浅层筛选与连续调度之间的强协同效应，而我们的分析表明，CopyLoop 仅需轻量级的模型校准，并在具有可复用上下文的较长生成中带来更大的加速。
| 评论： | 预印本 |
| 主题： | 计算与语言 (cs.CL)；人工智能 (cs.AI) |
| 引用为： | arXiv:2610.38822 [cs.CL] |
| （或 arXiv:2610.38822v1 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.38822 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Wenyu Du [查看电子邮件]
[v1]
2026 年 10 月 28 日星期三 20:16:54 UTC（105 KB）
来源：arXiv cs.AI · arxiv.org