arXiv cs.CL· Jihao Zhao, Shuaishuai Zu, Pengfei Li, Biao Qin, Guanghuan Fang, Ben Feng, Baochuan Yang·· 10 小时前AI 评分31
TraceSpec：理解并改进面向 LLM 智能体的投机解码
TraceSpec: Understanding and Improving Speculative Decoding for LLM Agents
AI 导读
TraceSpec 框架将轨迹评估与自适应草稿训练结合，在三种目标模型规模和两种温度下，回放吞吐量比其 DSpark 基线提升 12.5% 至 22.6%。该研究同时发布 TraceSpec-Traj 语料，含 10,000 个训练状态和 2,500 个测试状态，覆盖浏览与软件工程任务。Qwen3-4B 消融显示，自适应分配相比固定整轮监督将接受长度提升 3.3% 至 10.0%。
正文 · AI 翻译
摘要：LLM 智能体通过不断演变的推理、动作和工具反馈历史进行重复模型调用来执行任务。聚合的推测解码指标将这些不同的决策合并在一起，对需要在何处进行草稿监督提供的指导有限。我们提出 TraceSpec，一个将轨迹评估与自适应草稿训练相连接的框架。它结合了动态执行与固定前缀重放，并引入了 TraceSpec-Traj，一个包含 10,000 个训练状态和 2,500 个测试状态、涵盖浏览和软件工程的数据集。对五个推测基线的分析表明，聚合接受率可能随上下文长度上升，而在匹配的后期浏览动作中却下降。工作负载和阶段进一步区分了这些趋势，从而推动由轨迹条件引导的监督。TraceSpec 在中间助手轮次上进行训练，并使用基于状态的条件化前缀感知接受差距估计来分配固定的预测预算。在三种目标规模和两种温度下，它相比其 DSpark 基础将重放吞吐量提高了 12.5% 至 22.6%。Qwen3-4B 消融实验表明，自适应分配相比固定的全轮监督将接受长度提高了 3.3% 至 10.0%，额外的比较进一步证实了状态条件化和连续 token 一致性的作用。由此产生的评估资源、轨迹发现和训练策略将智能体执行分析与实际的草稿改进联系起来。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.41177 [cs.CL] |
| （或 arXiv:2610.41177v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.41177 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jihao Zhao [查看电子邮件]
[v1]
2026年10月30日星期五 02:57:43 UTC（1,536 KB）
来源：arXiv cs.CL · arxiv.org