跳到正文
arXiv cs.AI· Matej Gerek, Danylo Zahorulko, Samuel Budai, Chris Rupley, Thierry Donneau-Golencer·· 10 小时前AI 评分38

基于仓库的评分标准:面向编码智能体的免执行评估方法

Repository-Grounded Rubrics for Execution-Free Evaluation of Coding Agents

AI 导读

研究将原本用于候选补丁筛选的 agentic rubrics 改造为免执行评估指标:智能体在改动前探索仓库并写出加权二元标准,无工具 judge 按满足标准的加权比例给 diff 打分。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:编码智能体通常通过运行针对特定任务的测试来评估,但测试可能缺失或不完整,且运行测试需要每个仓库都有可用的环境。我们将原本用于在候选补丁间进行选择的智能体评分标准,改造为一种无需执行的度量,用来衡量补丁在多大程度上满足任务要求。智能体在变更前探索仓库并编写带权重的二元标准,一个不使用工具的评判者则根据补丁满足的加权标准比例来为 diff 打分。我们使用来自十五个系统的 7,291 个带标签补丁,在 SWE-bench Verified 上以测试结果验证该分数产生的排序。在同时包含已解决和未解决补丁的 400 个任务中,每任务平均 AUROC 为 0.826(在未用于调优评分标准生成提示的任务上为 0.838),并且按失败补丁对系统排序与按解决率排序高度一致(Spearman 0.968)。案例分析将分歧归因于与任务不匹配的测试、文本评估遗漏的阻碍执行的缺陷,以及标准或判定中的错误。该验证并未确立绝对分数大小,也未确立超出与测试一致性的需求满足程度,但在无法假定测试或执行环境可用的情况下,评分标准分数可以补充测试。
评论: 31 页,6 幅图,15 张表。代码与数据:此 https URL
主题: 软件工程(cs.SE);人工智能(cs.AI)
引用为: arXiv:2611.23309 [cs.SE]
  (或 arXiv:2611.23309v1 [cs.SE] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.23309

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Matej Gerek [查看电子邮件]
[v1] 2026 年 11 月 11 日星期三 09:21:43 UTC(125 KB)

来源:arXiv cs.AI · arxiv.org