arXiv cs.AI· Haichao Zhu, Geyang Xu, Zhaorui Yang, Jiyuan Wang, Qian Zhang·· 13 小时前AI 评分55
编码智能体在演进既有代码时更遵循先例还是任务意图
Precedent or Intent? What Coding Agents Follow When Evolving Existing Code
AI 导读
一项 arXiv 研究用双向受控实验考察编码智能体在既有代码与新任务指令冲突时如何取舍,覆盖 4 个编码智能体、6 组实现对共 5,625 次试验。
正文 · AI 翻译
摘要:现有代码揭示了过去的实现决策,但很少解释其背后的推理。当编码智能体实现新功能或修改现有功能时,过去的决策可能与新的任务指令相冲突。这为智能体软件演化提出了一个根本性问题:当多个实现满足相同的功能需求时,编码智能体如何决定是遵循现有代码还是新的任务指令?我们通过在专门构建的仓库中进行双向受控实验,随后在真实开源仓库中进行验证来研究这个问题。我们的方法隔离了三种相互竞争的指导来源:(1) 智能体的默认偏好,(2) 仓库先例,以及 (3) 显式任务指令。我们在四个编码智能体和六对实现上进行了 5,625 次试验,并在涵盖三种编程语言的四个开源仓库中进行了验证。我们发现,智能体共享相同的默认实现选择,然而当仓库先例与这些默认选择冲突时,它们绝大多数会遵循仓库先例(359/360 次试验)。关键在于,并非所有先例都具有同等影响力:三个支持性本地文件带来 96% 的采用率,而同级资源文件仅为 4%,并且在固定示例数量下,仅改变文件位置就能使采用率从 0% 变为 100%。当新的任务意图与现有代码冲突时,书面优先级规则的成功率显著高于仅靠代码示例(两个智能体在两对实现上的联合成功分别为 59/60 与 38/60)。显式规则的有效性也延伸到开源仓库中,其中由测试框架加载的规则将联合成功率从 0/120 提升至 117/120。这些发现推动了设计决策可追溯性的发展,即不仅保留实现选择,还保留应指导未来变更的理由和优先级。
| 评论: | 16 页,7 幅图,6 张表 |
| 主题: | 软件工程 (cs.SE);人工智能 (cs.AI) |
| ACM 分类: | D.2.7; I.2.2 |
| 引用为: | arXiv:2610.38244 [cs.SE] |
| (或 arXiv:2610.38244v1 [cs.SE] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.38244 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Geyang Xu [查看电子邮件]
[v1]
2026 年 10 月 28 日星期三 03:50:17 UTC(53 KB)
来源:arXiv cs.AI · arxiv.org