跳到正文
arXiv cs.CL· Mehrdad Saberi, Keivan Rezaei, Soheil Feizi·· 2 天前AI 评分38

SpecHop:用连续推测加速多跳检索智能体

SpecHop: Continuous Speculation for Accelerating Multi-Hop Retrieval Agents

AI 导读

SpecHop 是一个连续推测框架,通过维护多条推测线程、异步验证预测的工具观测结果并回滚错误分支,在不改变模型最终轨迹的前提下降低多跳工具调用的实际延迟。在检索增强的多跳任务上,SpecHop 与理论预测高度吻合,部分设置下延迟最多降低 40%。该工作已被 NeurIPS 2026 接收。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:大型语言模型越来越多地使用网络搜索和文档检索等外部工具来解决信息密集型任务。然而,复杂任务中的多跳工具使用会带来显著的延迟,因为模型必须反复等待工具观测结果才能继续。我们研究如何在假设可以访问更快但可靠性较低的推测工具的情况下,加速此类轨迹,同时不改变模型在未加速时会采取的最终轨迹。我们为多跳工具使用场景下的无损推测建立了一个理论框架,刻画了可实现的最优延迟增益。我们提出 SpecHop,一种持续推测框架,它维护多个推测线程,在目标工具输出到达时异步验证预测的观测结果,提交正确的分支,并回滚错误的分支。这在保持准确性的同时降低了实际耗时延迟。我们表明,在活跃线程足够多的情况下,SpecHop 可以接近 oracle 延迟增益。在实证上,在检索增强的多跳任务中,SpecHop 与理论预测高度吻合,并在某些设置下将延迟降低多达 40\%。代码:此 https URL
评论: 已被第 40 届神经信息处理系统大会(NeurIPS 2026)接收
主题: 计算与语言(cs.CL)
引用为: arXiv:2605.21965 [cs.CL]
  (或 arXiv:2605.21965v2 [cs.CL] 用于此版本)
  https://doi.org/10.48550/arXiv.2605.21965

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Mehrdad Saberi [查看电子邮件]
[v1] 2026 年 5 月 21 日星期四 03:55:47 UTC(488 KB)
[v2] 2026 年 11 月 13 日星期五 16:50:55 UTC(491 KB)

来源:arXiv cs.CL · arxiv.org