arXiv cs.CL· Yulu An, Yifei Feng, Xiangyang Yin·· 11 小时前AI 评分32
SpecCompact：用槽位并行语义推测验证加速 LLM 智能体上下文压缩
SpecCompact: Accelerating LLM Agent Context Compaction with Slot-Parallel Semantic Speculative Verification
AI 导读
SpecCompact 通过微调小型 drafter 并行生成摘要槽位、由目标模型逐行验证并修复被拒内容，在 AppWorld 和 τ³ 两个基准、两种目标模型上相较 Hermes 式摘要实现 2.04–5.63× 压缩加速。Hermes 内的用户研究显示中位压缩加速达 8.68×，但下游评测显示性能权衡因模型和任务而异。
正文 · AI 翻译
摘要：LLM 智能体使用上下文压缩来管理不断增长的交互历史，但用大模型总结长历史可能带来显著延迟。因此，压缩需要在信息保留与延迟之间取得平衡。我们观察到，结构化摘要槽位在独立生成时能够保留信息。基于这一观察，我们提出 SpecCompact，一个通过槽位并行语义推测来加速压缩的框架。SpecCompact 微调一个小型起草器并并行生成槽位。目标模型验证每个提议行并修复被拒绝的内容，而后续起草则使用更新后的槽位前缀。系统优化进一步减少了重复的上下文处理和模型调用。在 AppWorld 和 $\tau^3$ 基准上，使用两个目标模型，SpecCompact 相比 Hermes 式摘要实现了 $2.04$--$5.63\times$ 的压缩加速。单独的下游评估揭示了依赖模型和任务的性能权衡。在 Hermes 内进行的一项用户研究进一步显示，压缩速度中位数提升了 $8.68\times$。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.06876 [cs.CL] |
| （或 arXiv:2611.06876v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.06876 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Xiangyang Yin [查看电子邮件]
[v1]
2026年11月4日星期三 18:34:41 UTC（203 KB）
来源：arXiv cs.CL · arxiv.org