arXiv cs.CL· Jiaming Xu, Hanzhen Wang, Tianlang Zhao, Jiewen Xiao, Chengze Yuan, Jiayi Pan, Yongkang Zhou, Jiancai Ye, Yu Wang, Guohao Dai·· 11 小时前AI 评分38
DLite：面向 Agentic AI 的无历史投机解码框架
DLite: History-free Speculative Decoding for Agentic AI
AI 导读
DLite 是一个面向 Agentic AI 的无历史投机解码框架，直接复用目标模型的上下文隐藏状态做局部投机预测，无需显式维护历史上下文。在通用、长上下文和 Agentic 负载上，DLite 实现 2-6 的接受长度，最高比 SOTA 方法 DSpark 高出 70%。现有草稿模型在 Agentic 负载下接受长度最多下降 80%，而维护历史 KV cache 会带来显著系统开销。
正文 · AI 翻译
摘要：投机解码已成为加速大语言模型（LLM）推理的主流技术，其做法是使用轻量级草稿模型生成候选 token，再由目标模型进行验证。然而，智能体工作负载会引入长且持续演化的上下文以及频繁的多轮交互。在此类工作负载下，我们观察到现有草稿模型的接受长度最多下降 80%，而维护其历史 KV 缓存会带来大量系统开销。本文指出，不断增长的历史上下文是这两个问题的共同根源，并提出了 DLite，一个面向智能体 AI 的无历史投机解码框架。DLite 直接复用目标模型中的上下文隐藏状态，并在不显式维护历史上下文的情况下执行局部投机预测，从而将日益复杂的建模问题转化为局部简单预测问题。一个轻量级顺序头进一步以低开销恢复块内因果依赖。为有效训练这种异构的无历史架构，我们引入了定制的两阶段训练策略。在通用、长上下文和智能体工作负载上的实验表明，DLite 实现了 2-6 的接受长度，并比最先进的投机解码方法 DSpark 高出最多 70%。
| 评论： | 14 页，5 张图 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.23787 [cs.CL] |
| （或 arXiv:2610.23787v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.23787 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jiaming Xu [查看邮箱]
[v1]
2026 年 10 月 16 日星期五 17:18:54 UTC（795 KB）
来源：arXiv cs.CL · arxiv.org