arXiv cs.CL· Gabriel Dautovi, Jie JW Wu·· 12 小时前AI 评分31
VeeReview：从 V-Model 视角衡量智能体撰写 PR 中的构建-验证配对
VeeReview: Measuring Build-Verify Pairs in Agent-Authored Pull Requests from a V-Model Perspective
AI 导读
VeeReview 用仓库信号和语言模型评判器对四组构建-验证配对分类，在 741 个仓库的 1,454 对智能体与人类 PR 上，智能体撰写的 PR 四组配对的仅构建率均更低（混合效应比值比 0.52 至 0.86），与预注册假设相反。
正文 · AI 翻译
摘要：背景：审查拉取请求需要针对所提议变更的验证证据。编码智能体基准和拉取请求结果研究并未直接评估这一关系。目标：我们检验 V-Model 的构建与验证配对能否衡量拉取请求中的验证证据，并支持对智能体编写与人类编写的变更进行比较。方法：VeeReview 使用仓库信号和语言模型评判器对四个构建与验证配对进行分类。其中三个配对使用受确定性信号约束的模型判断，另一个配对由基于差异和仓库树的规则决定模块设计-单元测试。我们使用由两名评分者标注的 25 个拉取请求参考集评估 VeeReview，并将其应用于来自 741 个仓库的 1,454 对匹配的智能体与人类拉取请求。结果：与预注册假设相反，VeeReview 在全部四个配对上为智能体编写的拉取请求分配了更低的仅构建率（混合效应比值比 0.52 至 0.86）。架构-集成配对不显著。对关联问题、已发布测试和规模的标准化使匹配率差异降低了 34% 至 60%，且规则决定的配对的标准化区间包含零。该工具未达到其预注册的校准标准：与裁定标签的一致率为 4% 至 60%，而要求为 80%，评分者间一致性较弱（kappa = 0.154）。结论：规则决定的配对表明，由语言模型评判的过程度量部分反映了拉取请求的呈现方式，而非其背后的验证工作。我们将队列差异报告为使用该工具所作的观察，并认为此类度量需要机械决定的组件和经过验证的人类参考，才能支持对验证实践的比較。
| 评论： | 47 页，9 幅图，11 张表。正在 Empirical Software Engineering 审稿中。复现包：此 https URL |
| 主题： | 软件工程（cs.SE）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.29143 [cs.SE] |
| （或 arXiv:2610.29143v1 [cs.SE] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29143 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jie JW Wu 博士 [查看电子邮件]
[v1]
2026 年 10 月 21 日星期三 03:25:44 UTC（1,291 KB）
来源：arXiv cs.CL · arxiv.org