arXiv cs.AI· Musfiqur Rahman, Mahi Begoug, Emad Shihab·· 1 天前AI 评分45
AI 智能体编写的代码在开源项目中能存活多久?
Will It Survive? Deciphering the Fate of AI Agent-Authored Code in Open Source
AI 导读
对 215 个开源仓库中 2,794 个已合并 PR 新增的 648,959 行代码做生存分析发现,AI 智能体代码并不比人类代码更早被修改。
正文 · AI 翻译
摘要:GitHub Copilot、OpenAI Codex 和 Devin 等 AI 编程智能体如今会提交拉取请求(PR),并被合并到开源项目中。行业报告表明,AI 辅助编写的代码在写完后不久就会被修改或回退,这引发了人们对智能体代码是“一次性”的担忧。然而,关于智能体代码被合并后会发生什么,人们知之甚少。了解这些代码能存续多久以及为何被修改,有助于维护者决定需要多少审查。我们对 AIDev 数据集中 215 个开源仓库里 2,794 个已合并 PR 在 vendored 和生成路径之外新增的 648,959 行代码进行了生存分析,在同一仓库内比较了归因于智能体的代码与人类代码。归因于智能体的代码并不比人类代码更早被修改。当每个 PR 权重相同时,归因于智能体的代码更晚被修改(HR = 0.83,95% CI [0.75, 0.93])。这一差异来自受监督的助手,主要是 Copilot 和 Codex(HR = 0.76)。在整个时期内,Devin 的代码与人类代码没有差异(HR = 0.95),但在 2025 年 5 月中旬之后合并的 PR 中,受监督助手和 Devin 的代码都更晚被修改。若不进行 PR 加权,差异在统计上不显著。当归因于智能体的代码被修改时,修改意图与人类代码相似(Cramer's V = 0.080)。文件大小和近期变更比代码 token 更能预测归因于智能体的代码是否会被修改(AUC-ROC 0.78 对 0.70),而过程特征对何时被修改的预测能力很弱(Macro F1 为 0.31,随机猜测为 0.25)。我们的发现表明,智能体代码并非一次性代码,但其是否比人类代码存续更久取决于智能体、代码合并的时间以及比较的计算方式。
| 评论: | 本文已提交至会议,目前正在审稿中 |
| 主题: | 软件工程(cs.SE);人工智能(cs.AI) |
| 引用为: | arXiv:2601.16809 [cs.SE] |
| (或本版本的 arXiv:2601.16809v2 [cs.SE]) | |
| https://doi.org/10.48550/arXiv.2601.16809 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Musfiqur Rahman [查看邮箱]
[v1]
2026年1月23日星期五 15:00:46 UTC(164 KB)
[v2]
2026年11月12日星期四 15:26:38 UTC(111 KB)
来源:arXiv cs.AI · arxiv.org