arXiv cs.AI· Yutong Cheng, Haifeng Chen, Peng Gao, Wei Cheng·· 3 天前AI 评分44
SpecForge:通过行为规范实现编码智能体的递归自我改进
SpecForge: Recursive Self-Improvement for Coding Agents via Behavioral Specifications
AI 导读
SpecForge 是一个多前沿树搜索框架,让冻结权重的编码智能体通过迭代优化行为规范实现递归自我改进,在 DevEval+ 上以 Claude-4.5-Sonnet 达到 94.9% 解决率,较最强基线平均提升 5.7 个百分点。
正文 · AI 翻译
摘要:基于冻结语言模型的编码智能体可以通过改进其所依赖的外部上下文来提升性能,而无需更新模型权重。我们研究通过行为规范实现的递归自我改进:即描述程序实体行为的自然语言代码文档,用于指导智能体生成正确的代码。我们构建了一个自我改进循环,其中智能体根据其当前规范生成代码,通过执行验证的测试对其进行评估,并根据观察到的失败来改进规范。改进后的规范随后指导后续生成,逐步提升智能体对代码库的理解。然而,递归改进具有挑战性,因为程序实体之间相互依赖。改进一个实体的规范可能会无意中降低其他实体的正确性,我们将这一现象称为输出耦合。这会产生一种打地鼠效应,即局部改进导致其他地方出现回归,从而阻碍持续进展。我们提出了 SpecForge,一个多前沿树搜索框架,通过三种机制应对这一挑战:(i) 帕累托引导的状态选择保留互补的规范状态并防止过早承诺;(ii) 依赖约束的实体选择优先进行被调用者先于调用者的改进;(iii) 错误多样化的扩展使用不同的测试失败子集探索多种改进。在 DevEval+ 上,SpecForge 在五个骨干模型上取得了最佳性能,包括使用 Claude-4.5-Sonnet 达到 94.9% 的解决率,并比最强基线平均提升 5.7 个百分点。改进后的规范还使智能体在循环之外的任务上表现更好:它们可迁移到跨语言翻译和新功能实现,在这些任务上优于基准提供的需求文档。
| Comments: | 已被 NeurIPS 2026(主赛道)接收 |
| Subjects: | 人工智能 (cs.AI);软件工程 (cs.SE) |
| Cite as: | arXiv:2610.15708 [cs.AI] |
| (或 arXiv:2610.15708v1 [cs.AI] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.15708 arXiv 颁发的 DOI 通过 DataCite(待注册) |
Submission history
来自:Yutong Cheng [查看电子邮件]
[v1]
2026年10月11日星期日 15:46:22 UTC(1,478 KB)
来源:arXiv cs.AI · arxiv.org