arXiv cs.AI· Yunlong Wang, Alyssa Wu, Cuiyun Gao, Jia Feng, Songyuanyi Lu, Zhichao Hu·· 12 小时前AI 评分47
FeatureArc：在持续演进的功能上评测编程智能体
FeatureArc: Benchmarking Coding Agents on Evolving Features
AI 导读
腾讯提出 FeatureArc 基准，用仓库历史构建跨 2 至 10 个阶段的功能演进任务，在 4 种编程语言上结合显式需求、接口契约与可执行检查，评测 10 个编程智能体在 73 个人工审核任务上的表现。
正文 · AI 翻译
摘要：软件功能通常随时间演进：随着新用例和需求的到来，开发者会扩展其首个版本，而每次扩展都建立在先前编写的代码之上。大多数功能基准测试在固定代码库上评估单个请求。功能演进则要求在智能体自己先前的代码上评估后续扩展，并检查该功能是否仍然正确。我们提出 FeatureArc，用于评估编码智能体在演进功能上的表现，并配套一条从仓库历史中构建其任务的流水线。该基准结合了同一功能连续阶段之间的依赖关系、明确的需求与接口契约，以及跨四种编程语言的可执行检查。该流水线在每个阶段前后，在参考代码上验证针对新行为的失败转通过（F2P）测试和针对现有行为的通过转通过（P2P）测试。我们在 73 个经人工审查、包含 2 至 10 个阶段的任务上评估了 10 个编码智能体。每个智能体在一个持久会话和工作区中工作，没有外部测试反馈或回滚。评估揭示了第一阶段与整个功能成功之间的差距：汇总成功率从第一阶段的 62.7% 降至在最终代码上测试整个功能时的 28.5%。轨迹分析将继承缺陷识别为一种常见失败机制，出现在 72.9% 的后续阶段失败中。这些较早的错误往往未被发现：在失败之后的阶段中，智能体约 95% 的情况下未注意到先前的错误，且其自测很少重新检查较早阶段。因此，在没有阶段间人工检查的情况下自主演进功能，对当前编码智能体而言仍是一项重大挑战。在腾讯，该流水线将内部评估扩展到这一场景，并指导混元（腾讯的大语言模型系列）的开发。
| 评论： | 12 页，8 幅图，4 张表 |
| 主题： | 软件工程（cs.SE）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.37434 [cs.SE] |
| （或 arXiv:2610.37434v1 [cs.SE] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.37434 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Yunlong Wang [查看电子邮件]
[v1]
2026 年 10 月 27 日星期二 15:45:50 UTC（2,531 KB）
来源：arXiv cs.AI · arxiv.org