arXiv cs.AI· Zixuan Liu, Nan Xue, Rui Bao, Yuhang Xu, Xiaofeng Cao, Jiangchao Yao, Zhiyong Chen·· 2 天前AI 评分27
LoopAhead：为 Looped Transformer 加速解码的推测框架
LoopAhead: Speculating Ahead for Faster Decoding in Looped Language Models
AI 导读
LoopAhead 是一个面向 Looped Transformer 的推测解码框架，通过轻量级前瞻草稿器（LAD）利用早期循环状态预测多个未来 token，并由深层循环反馈决定草稿分支的继续或暂停，最终由全深度模型做 token 决策。该方法在保持目标模型输出分布的同时，实现最高 7.82 倍的解码加速。
正文 · AI 翻译
摘要：循环 Transformer 通过重复应用相同的 Transformer 层来提高参数效率。然而，生成每个 token 仍然涉及顺序计算和对模型权重的重复访问，导致解码延迟较高。近期的流水线自推测解码方法通过从早期循环预测中草拟 token，并在同一批次中异步推进不同循环深度的 token，从而减少这种延迟，但它们没有充分利用早期循环特征来实现更长的前瞻，并且仍然花费计算来验证错误的推测分支。我们提出了 \method，一种用于循环 Transformer 的推测解码框架，它能够更早地草拟未来 token，并为不同的循环深度分配互补的角色。一个轻量级前瞻草拟器（LAD）利用早期循环状态预测多个未来 token，更深循环的反馈帮助决定哪些草拟分支继续、哪些暂停，而全深度模型做出最终的 token 决策。LoopAhead 在保持目标模型输出分布的同时，相比自回归解码实现了高达 7.82 倍解码加速。
| 学科： | 人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.21594 [cs.AI] |
| （或 arXiv:2610.21594v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21594 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Zhiyong Chen [查看电子邮件]
[v1]
2026年10月15日星期四 09:38:11 UTC（602 KB）
来源：arXiv cs.AI · arxiv.org