SpecCompact 用槽位并行推测加速上下文压缩

Yulu An、Yifei Feng、Xiangyang Yin 发布论文提出 SpecCompact 框架：用小模型 drafter 并行生成摘要槽位，再由目标模型逐行验证并修复被拒内容，以加速 LLM 智能体的上下文压缩。作者称，在 AppWorld 和 τ³ 两个基准、两种目标模型上，相较 Hermes 式摘要实现 2.04–5.63× 压缩加速；Hermes 内的用户研究显示中位加速达 8.68×。 但下游评测显示，性能权衡因模型和任务而异，加速并非在所有情形下都无损。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。