arXiv·· 12 天前AI 评分31
轨迹检索投机解码:模型自身历史何时有用?
Trajectory-Retrieval Speculative Decoding: When Does a Model's Own History Help?
AI 导读
研究提出 Trajectory-Local Adaptive Retrieval(TLAR),从当前推理轨迹中检索近似匹配的续写,并利用近期验证结果自适应调整检索激活与候选宽度,与模型生成的草稿结合用于投机解码。受控来源对比显示,长链式思维推理产生的历史续写存在轨迹特定的复用价值,可补充现有 drafter。
来源:arXiv · arxiv.org