arXiv cs.AI· Christoph Treude, Sebastian Baltes·· 14 小时前AI 评分34
编码智能体的 harness 如何自我进化？一项关于回顾式适配的实证研究
How Do Coding-Agent Harnesses Self-Evolve? An Empirical Study of Retrospective Adaptation
AI 导读
研究以 Claude Code 在 30 个 SWE-bench Verified 问题上运行，用名为 \retro 的技能让智能体回顾已完成会话并提出 harness 修改，共收集 125 条提案、实现 24 条，并在同一仓库的后续问题上评估 12 项改动。
正文 · AI 翻译
摘要：编码智能体可以根据先前任务的经验调整其运行框架，即用于运行它们的软件、配置和指令，但这些调整是否能改善它们在后续任务上的表现仍不清楚。我们研究了 \retro，这是一种技能，要求智能体回顾已完成的会话并提出运行框架变更，并探究它提出了哪些变更，以及实施的变更是否能减少后续任务中的重复工作。我们在 30 个 SWE-bench Verified 问题上运行了 Claude Code，对 \retro 提出的 125 条建议进行了定性编码，实施了 24 条，并在来自同一仓库的后续问题上，在全新会话中分别在有和没有每项变更的情况下评估了 12 项运行框架变更。大多数建议都指向会话中的某个事件，但 43 条与 lint 相关的建议中有 18 条推荐了某种做法，而不管实际发生了什么。在七项评估中，未实施变更的会话遇到了目标问题；其中两项变更消除了目标行为，一项减少了其发生次数，四项没有减少，还有一些变更在无关问题上增加了工作量。运行框架的自我演化需要的不仅仅是生成和实施变更：它还需要能够确定某项变更是否有助于后续任务，并修订或移除无益的变更。
| 主题： | 软件工程（cs.SE）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.34938 [cs.SE] |
| （或 arXiv:2610.34938v1 [cs.SE] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.34938 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Christoph Treude [查看电子邮件]
[v1]
2026年10月26日星期一 07:06:31 UTC（11 KB）
来源：arXiv cs.AI · arxiv.org