arXiv cs.AI· Ruopei Sun, Jianfeng Cai, Kangwen Zhao, Wengang Zhou, Houqiang Li·· 11 小时前AI 评分44
Compact-Bench：衡量上下文压缩给长程编程智能体带来什么代价
Compact-Bench: Measuring What Context Compaction Costs Long-Horizon Coding Agents
AI 导读
Compact-Bench 通过配对完整历史与仅摘要续写来隔离上下文压缩的影响，覆盖 35 个 SWE-bench 修复、146 个智能体会话和 106 条生产链。
正文 · AI 翻译
摘要：上下文压缩使长程编码智能体能够超越其上下文窗口继续工作，但可能抹去完成任务所需的状态。此前的评估衡量效率、保留的信息或端到端成功率，难以单独分离出特定历史替换的影响。Compact-Bench 从共享的仓库状态出发，配对完整历史与仅摘要的续接，并评估反复出现的细节与连续的生产环境压缩。它涵盖 35 个 SWE-bench 修复、146 个智能体会话和 106 条生产链。在 14 个摘要器骨干模型中，稳定损伤范围为 22 个完整历史成功案例中的 5-64%：Claude Opus 4.8 保留的修复最多，而 DeepSeek-Flash 损伤最多。以 Kimi-K3 作为摘要器时，Kimi Code 提示保留的任务续接最多（19/22），而 Claude Code 保留的反复出现细节最多（15.0%）。LLM 摘要最多保留 16.0% 的反复出现细节，而机械提取为 79.1%；生产摘要则在第一个边界处保留 15.7%。失败在不同方法间反复出现：一个修复被 13/14 个骨干模型损伤，另一个被全部 5 个提示损伤。这些结果表明，可靠的压缩需要保留完成任务所需的进展，而仅保留相关信息并不能确保成功续接。代码见 此 https URL，数据见 此 https URL。
| 学科： | 软件工程（cs.SE）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.31710 [cs.SE] |
| （或 arXiv:2610.31710v1 [cs.SE] 为本版本） | |
| https://doi.org/10.48550/arXiv.2610.31710 arXiv 颁发的 DOI 经由 DataCite |
提交历史
来自：Ruopei Sun [查看邮箱]
[v1]
2026年10月22日星期四 02:17:12 UTC（155 KB）
来源：arXiv cs.AI · arxiv.org