arXiv cs.AI· Hengjie Zhu, Dayan Wu, Xinze Liu, Peng Fu, Zheng Lin, Weiping Wang·· 11 小时前AI 评分34
RECAP：面向多模态投机解码的请求内与持久记忆上下文感知预测回收
RECAP: Context-Aware Prediction Recycling with Request-Local and Persistent Memories for Multimodal Speculative Decoding
AI 导读
RECAP 用一、二、三 token 键存储目标模型预测，请求内上下文记忆隐式绑定当前图像，token 级记忆跨请求保留覆盖，无需训练或辅助草稿模型。在 Qwen2.5-VL-7B 和 LLaVA-1.6-7B 的七个单轮基准上，平均加速分别为 1.66× 和 1.56×，超过最强免训练基线 Token Recycling 的 1.51× 和 1.37×。
正文 · AI 翻译
摘要：回收目标模型自身的预测，为投机解码提供了一种无需训练的候选来源。然而在视觉语言模型中，现有的回收方法仅以最后一个 token 作为预测的索引，从而混淆了在不同图像和前缀下计算出的预测；我们发现，这种复用最常失败于对图像敏感的解码状态。更长的键可以减轻这种混叠，但能匹配到的状态更少。我们提出 \method，将目标预测存储在一 token、二 token 和三 token 键之下：上下文记忆仅在当前请求内存在，因而隐式地以其图像为条件；而 token 级记忆则跨请求持久保留，以维持覆盖范围。在每次查找时，熵-置信度加权根据键的特异性和集中度对检索到的预测进行融合。最佳优先搜索将融合后的转移组合成候选树，并以后缀匹配的续写作为补充，随后一次目标模型前向传播在贪心解码下验证该树。无需训练，也无需辅助草稿模型，\method 在 Qwen2.5-VL-7B 和 LLaVA-1.6-7B 上的七个单轮基准测试中，相较自回归解码分别取得 $1.66\speed$ 和 $1.56\speed$ 的平均加速，超过了最强的无需训练基线 Token Recycling（$1.51\speed$ 和 $1.37\speed$）。我们的实现可在 此 https URL 获取。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.05894 [cs.AI] |
| （或 arXiv:2611.05894v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.05894 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Hengjie Zhu [查看邮箱]
[v1]
2026年11月4日星期三 03:32:18 UTC（858 KB）
来源：arXiv cs.AI · arxiv.org