arXiv cs.AI· Jeanne Salle, Hardik Bhatnagar, Matthias Bethge, Sahar Abdelnabi, Maksym Andriushchenko·· 11 小时前AI 评分49
基准测试出人意料地对上下文压缩友好
Benchmarks Are Surprisingly Compaction-Friendly
AI 导读
研究固定 OpenCode 智能体框架并实现五种上下文压缩策略，在 PaperBench、ProgramBench、PostTrainBench 三个长程基准上评测三款前沿模型。
正文 · AI 翻译
摘要：长程智能体任务如今正推动 LLM 智能体超出其上下文窗口。为继续执行任务，智能体脚手架必须释放上下文窗口，这一过程称为上下文压缩。压缩在设计上通常是有损的：智能体可能悄然丢失任务约束、指令或此前决策背后的推理。尽管压缩是编码智能体脚手架的标准组件，但尚未有研究在真实的长程智能体任务上使用前沿模型对其进行系统研究。此前的工作是在玩具或合成轨迹上评估较小的开放权重模型。我们固定智能体脚手架（OpenCode），在其中实现五种压缩策略，并在三个长程基准（PaperBench、ProgramBench、PostTrainBench）上评估三个前沿模型。对于两个 1M 上下文模型，压缩阈值对任务性能没有可测量的影响；而上下文窗口最小的模型 GPT-5.3-Codex 在较低阈值下于 PaperBench 上表现更差，在 PostTrainBench 上则不那么明显。没有任何压缩方法优于默认的自我摘要，而丢弃更多内容的方法会使某些模型损失高达 20 分，同时其他模型保持不变。然而，压缩可能悄然移除任务约束：在 ProgramBench 上，第一次压缩摘要平均就已丢弃约三分之一的防作弊规则，且这一比例随压缩次数单调上升。在来自 SWE-chat 的真实用户-智能体会话中，关于智能体应如何工作以及不应做什么的指令被丢弃的频率，约为关于要构建什么内容的规格说明的 6 倍。我们认为当前基准对压缩较为友好：即目标固定且智能体的进度保存在磁盘上，因此压缩丢弃的大部分内容都可以恢复，唯独那些在其他任何地方都不存在的约束除外。
| 评论： | 25 页，11 张图 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.31778 [cs.LG] |
| （或 arXiv:2610.31778v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.31778 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jeanne Salle [查看邮箱]
[v1]
2026 年 10 月 22 日星期四 18:15:54 UTC（242 KB）
来源：arXiv cs.AI · arxiv.org