arXiv cs.CL· Wenqiang Zhu, Xinping Lei, Zhiyi Lai, Zhengshuo Gong, Tianzhuang He, Songwei Yu, Weihao Li, Jingxuan Xu, Zihang Xu, Gang Wu, Zhongqiu Wang, Yuhui Bai, Jie Li, Zhao Liu, Junhao Fan, Yan Wu, Yanan Wu, Jiaheng Liu, Quan Gu, Ariel Deng·· 3 天前AI 评分36
ANCHOR：评估仓库级智能体编码中的自然约束层级与顺序
ANCHOR: Assessing Naturalistic Constraint Hierarchies and Ordering in Repository-Grounded Agentic Coding
AI 导读
研究者提出 ANCHOR 基准，用于评估仓库级编码智能体的"工程约束遵循"能力，覆盖八种语言组的自然多语言仓库任务，包含 10 大类 78 种叶子类型的约束分类体系和轨迹评估框架。
正文 · AI 翻译
作者：Wenqiang Zhu、Xinping Lei、Zhiyi Lai、Zhengshuo Gong、Tianzhuang He、Songwei Yu、Weihao Li、Jingxuan Xu、Zihang Xu、Gang Wu、Zhongqiu Wang、Yuhui Bai、Jie Li、Zhao Liu、Junhao Fan、Yan Wu、Yanan Wu、Jiaheng Liu、Quan Gu、Ariel Deng
摘要：对于基于代码仓库的编程智能体而言，功能正确的补丁未必是可接受的补丁：开发者还会约束任务必须如何执行——修改范围、工作流顺序、验证、工具使用和报告。我们将这一能力称为工程约束遵循，它在当前评估中基本不可见。我们提出了 ANCHOR（Assessing Naturalistic Constraint Hierarchies and Ordering in Repository-Grounded Agentic Coding），这是一个基于自然、多语言代码仓库任务的基准，涵盖八个语言组。ANCHOR 结合了：(i) 从真实开发者交互中提炼出的 10 个类别和 78 个叶子类型的层级分类法；(ii) 一个自动化流水线，用于实例化基于任务的原子约束，并将它们组合为带类型的 AND/THEN/PRIORITY 关系；(iii) 一个基于轨迹的评估框架，使用基于规则和 LLM 的评判器同时检查代码差异和执行轨迹。在涵盖 2 个脚手架和 10 个基础模型的 19 种智能体配置、358 个任务上，测得的最强系统——Cline 下的 Claude Opus 4.8——达到 70.1% 的原子合规率和 63.7% 的关系合规率，而在严格的全项 FCCR 标准下，19.0% 的任务通过了所有计分清单项。五位工程师对来自 50 个实例的约束进行审计，报告了 94% 的可行性、94% 的仓库一致性和 96% 的真实性。在主要配对集合（14 种配置）中，添加约束后任务完成率的平均带符号变化为 +0.7 个百分点；个体变化在两个方向上均有差异。这些结果将功能成功与约束合规区分开来，失败集中在工作流顺序、工具使用纪律和报告方面，并且模型与脚手架之间存在显著的交互作用。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.16859 [cs.CL] |
| （或 arXiv:2610.16859v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.16859 由 DataCite 提供的 arXiv 颁发 DOI |
提交历史
来自：Ken Deng [查看电子邮件]
[v1]
2026年10月12日星期一 14:28:38 UTC（2,446 KB）
[v2]
2026年10月14日星期三 06:22:34 UTC（13,509 KB）
来源：arXiv cs.CL · arxiv.org