arXiv cs.AI· Yuyang Dai, Yushun Dong·· 10 天前AI 评分22
轨迹检索投机解码：模型自身历史何时有用？
Trajectory-Retrieval Speculative Decoding: When Does a Model's Own History Help?
AI 导读
研究提出 Trajectory-Local Adaptive Retrieval（TLAR），从当前推理轨迹中检索近似匹配的续写，并结合近期验证结果自适应调整检索激活与候选宽度。
正文 · AI 翻译
摘要：长链思维推理增加了顺序解码成本，同时产生了不断增长的可复用续写历史。我们研究这种历史何时能提供有用的草稿并补充现有的草稿模型。受控来源比较揭示了轨迹特定的复用，这促使我们提出轨迹局部自适应检索（TLAR）方法。TLAR 从当前轨迹中检索近似匹配的续写，并利用最近的验证结果来自适应调整检索激活和候选宽度。TLAR 将检索到的续写与模型生成的草稿结合在一个共享候选树中，通过精确验证保持目标模型的输出分布。在代码调试、数学和开放式写作中，我们的评估将来源复用、增量接受和执行成本联系起来。在匹配的验证预算下，将 TLAR 与强检索基线相结合可提高 token 接受率，并相较于草稿模型基线提升端到端吞吐量。这些发现支持将生成的轨迹作为自适应推理的运行时记忆。
| 评论： | 33 页 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.07350 [cs.AI] |
| （或 arXiv:2610.07350v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.07350 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Yuyang Tsai [查看邮箱]
[v1]
2026年10月5日星期一 20:19:28 UTC（402 KB）
来源：arXiv cs.AI · arxiv.org