arXiv cs.CL· Zilin Wang, Yinhong Liu, Chao Chen, Qun Liu, Zhijiang Guo·· 2 天前AI 评分32
SpecAgent：让强模型审校弱模型草稿的工具智能体轨迹级推测与语义验证
Trajectory-Level Speculation with Semantic Verification for Tool-Using Agents
AI 导读
SpecAgent 是一种协作协议，让弱模型在只读工具调用中起草步骤、强模型通过单次 prefill 并行验证并提交最长语义有效前缀，从而把强模型从每步生成者变为审校者。
正文 · AI 翻译
摘要：大语言模型智能体通过长序列的工具调用解决任务，而主流设计让单个强模型生成每一步，尽管许多步骤对于一个小得多的模型来说已经足够常规。现有的分担这些工作的方式仍将强模型作为生成者：路由器与协作智能体决定由哪个模型处理每个查询或步骤，推测式方法则逐步检查小模型的草稿，通常对照强模型自身的动作。我们提出 SpecAgent，一种协作协议，将强模型从每一步的作者转变为弱模型所起草步骤的审查者。弱模型在起草时执行只读工具调用，使每一步都基于真实观察，并保留第一个会修改环境的动作。随后强模型在一次预填充中验证所起草的片段，提交其判定为语义有效的最长前缀，并修复第一个被拒绝的步骤。由于验证以并行预填充取代自回归解码，强模型只解码简短的裁决和偶尔的修复，而非每一步。在 $\tau^2$-Bench 上，SpecAgent 的成功率与强模型相差不到一个百分点，同时将内存流量和挂钟时间大致减半；在 AutomationBench 和 VitaBench 上，它弥补了 44-75% 的质量差距，同时降低了这两项指标。在 MCP-Atlas 上使用三个云模型进行的边云部署中，它弥合了 53-75% 的弱-强质量差距，而强模型生成的 token 数至多为原来的一半。这些结果表明，强模型不必编写智能体的每一步：审查有依据的草稿即可保留其大部分质量，同时降低延迟和内存流量。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.21463 [cs.CL] |
| （或 arXiv:2610.21463v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21463 arXiv 通过 DataCite 颁发的 DOI（待注册） |
提交历史
来自：Zilin Wang [查看邮箱]
[v1]
2026年10月15日星期四 08:06:32 UTC（897 KB）
来源：arXiv cs.CL · arxiv.org