arXiv cs.AI· Emile Anand, Mohammed Rehan Parwani, Xinyuan Cao·· 11 小时前AI 评分34
自适应多 Token 预测（AMTP）：推测窗口该走多远？
Adaptive Multi-Token Prediction: How far should we go?
AI 导读
研究者提出自适应多 Token 预测（AMTP），用轻量控制器在每轮起草前预测草稿前缀的接受存活概率，并选择每秒期望 Token 数最高的推测窗口，无需重训模型、不改动验证器。
正文 · AI 翻译
摘要：多 token 预测（MTP）通过起草多个 token 并在单次目标模型前向传播中验证它们，可以加速语言模型解码。然而，最佳推测视野随上下文而变化：较长的草稿在可靠时能带来更大的摊销收益，但可能在拒绝后被丢弃的后缀上浪费计算。与自回归起草不同——在自回归起草中，停止规则可以逐 token 决定——MTP 必须在起草前固定视野，因为所有头都在同一次前向传播中触发。因此，我们将视野选择建模为一个在线控制问题，利用验证反馈来学习在每个上下文中草稿可以被信任到多远，并引入自适应多 token 预测（AMTP）：一个轻量级控制器，无需重新训练，且保持精确验证器不变。为了指导视野选择，我们通过接受存活率——即草稿前缀被完全接受的概率——来刻画每个视野下预期提交的 token 数。在每一轮之前，AMTP 预测草稿可能存活多远，并选择每秒预期 token 数最高的视野，从每次验证过程中自由学习。在理论上，我们证明任何在线学习器的预测误差都会转化为相对于每个上下文最佳视野的吞吐量遗憾，进而转化为墙钟完成时间的界。使用在线梯度下降时，该遗憾是次线性的。在基于 Llama-3.1-8B-Instruct 搭配 Medusa 头、Meta 的 MTP 模型以及 Qwen3-4B-Inst-2507-MTP 构建的五组草稿-目标配对中，在 AIME 2025 和 GSM8K 上评估，AMTP 的解码速度最高比标准解码快 4.1 倍，并在 10 个设置中的 8 个中达到或超过固定窗口，吞吐量提升最高达 10%。
| 评论： | 25 页，5 幅图，9 张表 |
| 主题： | 人工智能（cs.AI）；机器学习（cs.LG）；系统与控制（eess.SY） |
| ACM 分类： | I.2.6；I.2.7；I.2.8 |
| 引用为： | arXiv:2610.28619 [cs.AI] |
| （或 arXiv:2610.28619v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28619 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Mohammed Rehan Parwani [查看电子邮件]
[v1]
2026 年 10 月 20 日星期二 17:56:32 UTC（655 KB）
来源：arXiv cs.AI · arxiv.org