arXiv cs.AI· Liang He, SiYuan Ma, Qishi Zhan, Yongqi Fan, Mingyu Cao, Qizhen Lan, Zhaolu Kang, Xilu Wang·· 11 小时前AI 评分34
ValuSpec：树状投机解码在目标验证前的即插即用候选评估机制
ValuSpec: Plug-and-Play Candidate Valuation before Target Verification for Tree-Based Speculative Decoding
AI 导读
ValuSpec 是一种即插即用的候选评估机制，可在目标模型验证前过滤候选树中的低质量分支，无需参数训练，仅用校准集上目标模型的贪心轨迹估计过滤阈值。在 HumanEval、GSM8K、Dolly 和 SpecBench 上，检索式树设置下实现最高 2.38x 端到端加速；接入 EAGLE-3 动态树框架后最高达 2.78x，且不改动其树构建策略。
正文 · AI 翻译
摘要：基于树的推测解码通过并行验证多个候选分支来加速大语言模型推理。然而，在实际服务场景中，相似的请求会反复产生重叠的候选分支。基于检索的方法通过复用历史草稿来缓解这一问题，但随着候选树增长，生成的候选树往往包含许多低质量分支，这降低了验证效率并浪费了目标端计算。为解决这一问题，我们提出 ValuSpec，一种即插即用的候选评估机制，可在昂贵的目标端验证之前从给定的候选树中过滤低质量分支。ValuSpec 引入基于迁移的监督，使过滤行为与目标模型的行为对齐。过滤阈值由目标模型在校准集上的贪心轨迹估计得出，无需任何参数训练。随后，目标模型在输出完全一致的贪心规则下验证过滤后的树，因此被接受的 token 保证与标准自回归解码完全一致。在 HumanEval、GSM8K、Dolly 和 SpecBench 上的实验结果表明，在我们的主要评估中，ValuSpec 在基于检索的树设置下实现了最高 2.38 倍的端到端加速。此外，将 ValuSpec 集成到 EAGLE-3 动态树框架中，在不修改其树构建策略的情况下实现了最高 2.78 倍的端到端加速，表明 ValuSpec 是一个通用且即插即用的候选评估模块。
| 评论： | NeurIPS 2026 海报 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.31338 [cs.AI] |
| （或本版本的 arXiv:2610.31338v2 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2610.31338 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Liang He [查看邮箱]
[v1]
2026年10月22日星期四 14:23:26 UTC（4,560 KB）
[v2]
2026年11月5日星期四 15:09:32 UTC（4,560 KB）
来源：arXiv cs.AI · arxiv.org