arXiv cs.AI· Zerui Yang, Miaomiao Dong, Quan Xue, Chaorui Zhang, Xuanyu Zheng, Xiyuan Wang, Haolin Ruan, Xueyan Niu, Guangcheng Song, Weixi Zhang, Wei Han, Bo Bai·· 4 小时前AI 评分47
上下文有代价:前缀缓存下 LLM 编程智能体的上下文增删研究
Context Has a Price: Adding and Removing Context for LLM Coding Agents under Prefix Caching
AI 导读
研究在 SWE-bench Verified、SWE-bench 和 Loc-Bench 上对开源模型进行超 2 万次运行,分别统计未缓存输入、缓存输入和输出 token 成本。
正文 · AI 翻译
作者:Zerui Yang、Miaomiao Dong、Quan Xue、Chaorui Zhang、Xuanyu Zheng、Xiyuan Wang、Haolin Ruan、Xueyan Niu、Guangcheng Song、Weixi Zhang、Wei Han、Bo Bai
摘要:编码智能体会反复将其对话历史发送给语言模型。添加有用的代码可能会减少搜索,而移除旧的工具输出可能会缩短后续提示。但这些改动真的能降低解决任务的成本吗?我们在 SWE-bench Verified、SWE-bench 和 Loc-Bench 上对开放模型进行了超过 20,000 次运行,将此作为一个测量问题进行研究。我们分别统计未缓存输入、缓存输入和输出 token。由此得出三项发现。第一,在我们的主要证据包实验中,检索到的代码使读取和搜索命令减少了 18--34%,但当缓存输入成本为未缓存输入的十分之一时,成本反而增加了 33--42%,且解决率没有可测量的提升。第二,移除旧观测结果既可能省钱也可能增加成本:同样的方法在没有缓存折扣时节省 19--36%,但在十分之一价格的缓存下成本增加 38--116%。第三,更短的提示并不保证更便宜的运行,因为智能体可能会以采取更多步骤作为回应。我们还发现,并发实验可以共享缓存前缀,从而扭曲成本比较。这些结果表明,为什么上下文管理方法应同时使用 token 价格和智能体的后续行为来评估。
| 主题: | 人工智能(cs.AI) |
| 引用为: | arXiv:2611.22238 [cs.AI] |
| (或 arXiv:2611.22238v1 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.22238 arXiv 颁发的 DOI 通过 DataCite(待注册) |
提交历史
来自:Zerui Yang [查看邮箱]
[v1]
2026年11月17日星期二 05:38:53 UTC(602 KB)
来源:arXiv cs.AI · arxiv.org