arXiv cs.AI· Fernando Vallecillos-Ruiz, Islem Bouzenia, Michael Pradel, Leon Moonen·· 14 小时前AI 评分58
软件工程智能体轨迹删除的隐藏成本研究
The Hidden Costs of Forgetting: A Study of Trajectory Deletion in Software Engineering Agents
AI 导读
论文对软件工程智能体的轨迹删减做了实证研究,在 SWE-bench Verified 上用两个先进智能体跑了 9,400 次、42 种配置。结果显示延迟删除大量旧轮次内容(如最多 100% 的推理文本)可保持整体效果,但立即删除会明显降低效果,智能体常通过重新获取被删内容来补偿,增加轮次和输入输出 token。
正文 · AI 翻译
摘要:软件工程智能体在每一轮都会将完整轨迹重新发送给 LLM,这促使了在线轨迹缩减的研究。已有工作表明,随机删除旧轮次中 75% 的 token 可能保持智能体的有效性,但尚不清楚原因、智能体如何补偿缺失内容,以及它是否真正降低成本。本文对 42 种轨迹缩减配置进行了实证研究,聚焦有效性、智能体行为和成本。我们通过在 SWE-bench Verified 上使用两个最先进的智能体进行 9,400 次运行,系统地探索了通过改变删除范围、粒度、数量和时机来删除旧轮次内容的效果。我们发现,删除大量轨迹内容(例如最多 100% 的推理文本)可以保持整体有效性。重要的是,这种删除必须延迟应用,因为立即删除往往会显著降低有效性。智能体通常通过重新获取来补偿被删除的内容,从而增加了轮次数量以及输入/输出 token。轨迹缩减是否降低成本取决于定价模型:在固定定价模型下,42 项评估中有 26 项估计成本下降。令人惊讶的是,在考虑缓存的定价模型下,零项评估产生更低的成本,因为缩减轨迹会破坏以较低费率计费的缓存前缀。我们的发现有三点启示:首先,仅凭 token 数量会产生误导;轨迹缩减技术必须在现实定价模型下考虑整体成本。其次,分析轨迹对于理解智能体行为至关重要,因为端到端有效性掩盖了诸如过度重新获取等差异。最后,这些结果凸显了未来在内存管理方面开展工作的必要性,以在不牺牲有效性的情况下降低成本。
| 主题: | 软件工程(cs.SE);人工智能(cs.AI) |
| 引用为: | arXiv:2610.35496 [cs.SE] |
| (或 arXiv:2610.35496v1 [cs.SE] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.35496 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Fernando Vallecillos-Ruiz [查看电子邮件]
[v1]
2026年10月26日 星期一 14:25:17 UTC(256 KB)
来源:arXiv cs.AI · arxiv.org