CADENCE：让模型学习一次解码多远，生成吞吐最高提升 1.3 倍

Next Token or Vector? Learning How Far to Decode

AI 导读

研究者提出 CADENCE（Context-Adaptive DEcoding）生成方法，让模型同时学习草拟什么内容和草拟多长。该方法用高斯预测头将未来片段表示为连续隐向量，由共享解码器并行转成 token 预测，并通过学习到的路由器根据模型自身隐状态选择预测长度，以单 token 生成作为回退。

正文 · AI 翻译

查看 PDF HTML（实验性）

摘要：标准自回归解码每次只推进一个 token，即使可以同时预测多个后续 token 也是如此。我们提出 CADENCE（上下文自适应解码），这是一种学习“起草什么”以及“起草多远”的生成方法。高斯预测头将未来片段表示为连续潜在向量，共享解码器将所选向量并行转换为 token 预测。学习型路由器根据模型自身的隐藏状态和预测的高斯参数选择预测长度，使生成粒度适应当前上下文，并以单 token 生成作为回退方案。主干网络验证每个提议的续写，并保留与其贪心预测匹配的前缀。在 Alpaca、GSM8K 和 HumanEval 上使用 Llama-3.1-8B-Instruct 进行的实验表明，路由器选择的位置比在所有位置应用相应预测长度获得更高的起草接受率。CADENCE 的生成吞吐量比标准贪心解码最高提升 1.3 倍。

学科：	机器学习（cs.LG）；人工智能（cs.AI）；新兴技术（cs.ET）
引用为：	arXiv:2610.22788 [cs.LG]
	（或 arXiv:2610.22788v1 [cs.LG] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.22788 由 DataCite 颁发的 arXiv DOI（待注册）

提交历史

来自：Sai Sreenivas Chintha [查看电子邮件]
[v1] 2026年10月16日星期五 01:00:34 UTC（1,164 KB）

来源：arXiv cs.AI · arxiv.org