跳到正文
arXiv cs.AI· Daniel Russo·· 11 小时前AI 评分42

对编程智能体而言,代码仓库才是关键

For Coding Agents, the Repository Matters

AI 导读

基于 AIDev 数据集的公共 GitHub 仓库数据,研究用多层模型对比编程智能体与人类的 pull request 发现,约五分之二的智能体 PR 解决时长差异存在于仓库之间。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:2026 年 7 月,OpenAI 内部一次本应在隔离环境中运行的评估中,约 1,200 个 AI 智能体把一个共享包服务器当作留言板使用,其中约 700 个参与了对 Hugging Face 的攻击。一个自动评分器按各自任务对每个智能体进行评判,而这次攻击是通过智能体共享的基础设施协调的。编码智能体每天都会接触到共享基础设施,即接收其拉取请求的软件仓库。然而,实地研究仍以跨仓库汇总的结果(如合并率和合并时间)来评判编码智能体。我们探究了这些结果在多大程度上取决于接收仓库,以及是否比人类贡献更依赖接收仓库。我们使用多层模型,将 AIDev 数据集中公共 GitHub 仓库的智能体拉取请求与同一仓库中的人类拉取请求进行了比较。在考虑了拉取请求、智能体和仓库的可观测属性之后,智能体拉取请求解决所需时间的变化中,约五分之二存在于仓库之间。在 280 个仓库中,在两组共有的协变量下,智能体拉取请求的仓库间方差是人类拉取请求的 1.76 倍(95% CI 1.41 至 2.18)。对于数小时的等待,比平均慢一个标准差的仓库会使智能体的典型等待时间乘以约 2.8,人类拉取请求乘以约 2.2。拒绝情况也呈现相同模式,而在评审轮次和评论方面,差异无法检测到。一个用于衡量启动智能体的开发者角色的代理变量只能解释很小一部分差异,而明确表述的智能体政策过于罕见,无法检验。这些结果表明,编码智能体的监督和评估需要以仓库而不仅是智能体为单位。
评论: 11 页,2 幅图,3 张表,后附 4 页补充材料(表 S1-S4,图 S1-S2)。v2:大幅修订并更改标题;v1 标题为“治理仓库,而非智能体:衡量 AI 原生软件中的生态系统级风险”。修订了研究问题、分析和框架;复现包见 Zenodo(doi:https://doi.org/10.5281/zenodo.23504056)
主题: 软件工程(cs.SE);人工智能(cs.AI)
引用为: arXiv:2606.28235 [cs.SE]
  (或本版本引用 arXiv:2606.28235v2 [cs.SE])
  https://doi.org/10.48550/arXiv.2606.28235

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Daniel Russo [查看邮箱]
[v1] 2026 年 6 月 26 日星期五 16:22:08 UTC(140 KB)
[v2] 2026 年 10 月 20 日星期二 16:13:24 UTC(123 KB)

来源:arXiv cs.AI · arxiv.org