arXiv cs.AI· Kosei Horikawa, Hao Li, Yutaro Kashiwa, Youssef Esseddiq Ouatiti, Mohammed Sayagh, Bram Adams, Hajimu Iida, Ahmed E. Hassan·· 12 小时前AI 评分38
无署名标识下如何检测 AI 编程智能体的提交
Agent or Human? Detecting Commits by AI Coding Agents in the Absence of Authorship Signatures
AI 导读
研究用 1,226 个仓库的 7,837,946 次提交检验：在遮蔽署名标识后，检测器区分 Agent 与 Human 提交的 ROC AUC 最高达 0.859，信号主要来自提交信息冗长度和变更规模而非代码本身。
正文 · AI 翻译
摘要：Claude Code、GitHub Copilot coding agent 和 Cursor 等 AI 编程智能体如今会直接向开源仓库提交代码。针对这些智能体的实证研究通过作者身份特征（如机器人账号和 Co-authored-by 尾注）来识别其提交。这些特征是可选的，可以被移除，而且往往附加在拉取请求上而非单个提交上。因此，一旦这些特征消失，Agent 提交能否与 Human 提交区分开来尚不清楚。我们利用来自 1,226 个仓库的 7,837,946 次提交（涵盖五种编程智能体和 Human 提交），研究了无特征检测的信号与局限。在特征被掩蔽后，检测器将 Agent 提交排在 Human 提交之上的 ROC AUC 最高可达 0.859，且大部分信号来自消息冗长度和变更规模，而非代码本身。在共享样本上，未经微调的 gpt-6-sol 达到的 AUC 与 XGBoost 和 TF-IDF 相近。然而在观测到的 Agent 占比下，完整测试集上最佳检测器的精确率仅为 0.332。检测向留出的 Claude Code 和 Copilot 迁移效果很差，TF-IDF 对 Claude Code 的 AUC 仅为 0.524。时间变化也因智能体而异，例如 Copilot 的 AUC 先下降后回升，而更多训练历史对 Claude Code 有帮助但对 Copilot 没有。这些结果表明，无特征检测可以优先安排提交以供审查，但无法替代记录在案的身份归属，并且依赖基于特征标签的研究应将其视为智能体活动的下限。
| 评论： | 21 页 |
| 主题： | 软件工程（cs.SE）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.36229 [cs.SE] |
| （或 arXiv:2610.36229v1 [cs.SE] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.36229 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Kosei Horikawa [查看邮箱]
[v1]
2026 年 10 月 26 日星期一 20:08:18 UTC（834 KB）
来源：arXiv cs.AI · arxiv.org