arXiv cs.CL· Radin Shayanfar, Keheliya Gallaba, Ahmed E. Hassan·· 13 小时前AI 评分36
如何为实践选择编码智能体基准：任务需求与智能体行为的经验教训
Choosing Coding-Agent Benchmarks for Practice: Lessons from Task Demands and Agent Behaviour
AI 导读
研究分析五个公开基准的 2,487 个任务和六种智能体配置的 14,922 次运行，提出 Spread-Novelty-Centrality（SNC）画像刻画参考解在文件与目录间的分布、增删比例及所触代码的依赖与复杂度。
正文 · AI 翻译
摘要：评估编码代理的软件团队需要能够反映他们期望这些代理所做更改的证据。基准分数概括了代理在诸如缺陷修复和功能实现等宽泛标签下解决任务的频率，但几乎无法说明被评估的工作是否类似于团队的工作负载。为支持这一决策，我们刻画了来自五个公开基准的 2,487 个任务，并分析了六种代理配置的 14,922 次运行。我们引入 Spread-Novelty-Centrality（SNC）画像，用以描述参考解决方案在文件和目录间的分布、其新增内容相对于删除内容的多少，以及其所触及代码的依赖关系、历史和复杂度。我们还比较了代理补丁的范围及其文件探索情况。每一对基准都至少在两个 SNC 轴上存在差异，包括具有相同任务标签的基准。在 Claude Opus 4.6 解决的任务中，FeatBench 上的补丁大于参考方案，而 FeatureBench 上的补丁则更小。在六种配置中，被解决的运行往往涉及分布更少的更改以及 Centrality 指标取值更低的代码，而与解决相关的补丁大小在 Claude 和 Qwen 配置之间有所不同。这些观察表明，实践者应根据更改特征选择评估任务，检查任务描述中提供的信息，并在评估测试结果的同时评估补丁范围。我们说明了团队如何将这一分析应用于已完成的更改，并指出在将其用于任务分配或审查自动化之前所需的额外证据。
| 主题： | 软件工程（cs.SE）；计算与语言（cs.CL） |
| 引用为： | arXiv:2609.01271 [cs.SE] |
| （或本版本的 arXiv:2609.01271v2 [cs.SE]） | |
| https://doi.org/10.48550/arXiv.2609.01271 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Radin Shayanfar [查看电子邮件]
[v1]
2026年9月1日星期二 14:04:15 UTC（406 KB）
[v2]
2026年10月27日星期二 02:35:36 UTC（368 KB）
来源：arXiv cs.CL · arxiv.org