arXiv cs.AI· Guorui Chen, Tao Liu, Zhenzhen Huang, Yidan Zhang, Liyu Jiang, Shuoyuan Wang, Hanchen Sun, Xu He, Dong Li, Yihan Hu, Jianye Hao, Lei Feng·· 11 小时前AI 评分40
MemDev-Bench：记忆系统对代码智能体有帮助吗？基于真实仓库历史的基准评测
MemDev-Bench: Does Memory Help Code Agents?Benchmarking Memory Systems over Real Repository Histories
AI 导读
研究者提出 MemDev-Bench，用同一仓库中带相关性标注的历史任务构建可控记忆历史，覆盖 555 个基础任务、共 4,869 个可执行可验证的历史任务。评测发现记忆主要提升细粒度定位与编辑的功能正确性，但也会让本可解决的任务失败，原因是智能体复用记忆时未重新评估其适用性；直接提供原始历史轨迹比使用记忆系统更能减少步骤。
正文 · AI 翻译
作者：Guorui Chen、Tao Liu、Zhenzhen Huang、Yidan Zhang、Liyu Jiang、Shuoyuan Wang、Hanchen Sun、Xu He、Dong Li、Yihan Hu、Jianye Hao、Lei Feng
摘要：代码智能体越来越多地在不断演化的真实代码库上工作，而记忆系统旨在帮助它们复用先前的经验。然而，这类经验既多样又不断演化，因此记忆系统如何组织这些经验、进而如何影响代码智能体，仍不清楚。现有基准无法可靠地回答这一问题，因为它们要么缺乏在时间上有效的历史，要么无法控制先前任务的相关性。本文提出 MemDev-Bench，用于评估记忆系统在多样化的代码库历史中如何影响代码智能体。它为每个任务配以来自同一代码库、带有相关性标注的先前任务，从而构建相关性受控的历史。我们还构建了一条自动化流水线，能够可靠地使这些先前任务可执行、可验证，为 555 个基础任务生成了 4,869 个历史任务。基于 MemDev-Bench，我们在多种开发场景下对记忆系统进行了系统评估，得出三项主要发现。（1）记忆主要改善细粒度定位与编辑，提升功能正确性。（2）即使存在相关历史，记忆也会导致原本可解的任务失败，而不相关的历史往往会加剧这类失败。这些失败主要源于智能体在复用记忆时未重新评估其适用性。（3）与使用记忆系统相比，直接向智能体提供原始历史轨迹能显著减少其执行步数。进一步分析表明，智能体通过复用压缩记忆往往省略的过程信息来节省这些步数。这些结果表明，未来的记忆系统应保留过程信息，并依据当前任务上下文重新评估记忆的适用性。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.27524 [cs.AI] |
| （或 arXiv:2610.27524v1 [cs.AI] 为本版本） | |
| https://doi.org/10.48550/arXiv.2610.27524 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Guorui Chen [查看邮箱]
[v1]
2026年10月20日 星期二 02:39:26 UTC（3,094 KB）
来源：arXiv cs.AI · arxiv.org