arXiv cs.AI· Jenny T. Liang, Mihika Bairathi, Wayne Chi, Ameet Talwalkar, Nishant Subramani, Valerie Chen·· 13 小时前AI 评分38
开发者如何修改 AI 生成的代码？LLM 能否推断其编辑意图：来自 53.6K 次开发者编辑的洞察
How Do Developers Edit AI-Generated Code, and How Well Do LLMs Infer Their Edits? Insights from 53.6K Developer Edits
AI 导读
研究团队构建 DECODE 数据集，收录来自 1K+ 开发者的 53.6K 条 IDE 内真实代码编辑记录，用于分析开发者何时、为何、如何修改 AI 生成的代码。结果显示开发者对 AI 生成代码的编辑投入很少、放弃很快；预测代码编辑对前沿模型和微调模型都很困难，前沿模型最能反映开发者意图但易过度编辑并回退开发者手写改动，微调可提升相似度却仍未追上前沿模型。
正文 · AI 翻译
摘要：AI 生成的代码存在缺陷，因此软件开发人员需要通过手动编辑代码来修改生成结果。然而，关于开发者如何编辑 AI 生成的代码，以及在缺乏高质量、真实的代码编辑数据的情况下，LLM 能在多大程度上从这些数据中推断出开发者的隐式意图，目前所知甚少。这些信息对于设计和构建可用的 AI 与开发者交互至关重要。为填补这一空白，我们推出了 DECODE（Developer Edits of Code Dataset），这是一个包含 53.6K 条真实 IDE 内 AI 生成代码编辑的数据集，数据来自 1K+ 名开发者。首先，我们使用 DECODE 分析 AI 生成的代码在何时、为何以及如何被编辑。开发者在编辑代码上投入的精力很少，并且会很快放弃 AI 生成的代码，因此有必要让 LLM 通过开发者的编辑来理解其意图。接下来，我们使用 DECODE 来了解 LLM 能在多大程度上推断开发者的编辑。预测代码编辑对前沿模型和微调模型而言都是一项具有挑战性的任务。前沿模型生成的编辑最能反映开发者意图，但容易出现过度编辑以及回退开发者所做编辑的问题。微调 LLM 可以提升其预测与开发者更相似、且更好反映开发者意图的编辑的能力，但无法完全弥合与前沿模型之间的差距。总之，我们的结果展示了通过研究真实的代码编辑数据所能获得的关于开发者和 LLM 行为的独特洞见，从而促进更好的开发者与 AI 交互。
| 主题： | 软件工程（cs.SE）；人工智能（cs.AI）；人机交互（cs.HC）；机器学习（cs.LG） |
| 引用为： | arXiv:2607.25130 [cs.SE] |
| （或 arXiv:2607.25130v3 [cs.SE] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.25130 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Jenny Liang [查看邮箱]
[v1]
2026年7月27日星期一 22:50:05 UTC（4,732 KB）
[v2]
2026年9月14日星期一 16:31:50 UTC（4,732 KB）
[v3]
2026年10月27日星期二 21:18:47 UTC（5,511 KB）
来源：arXiv cs.AI · arxiv.org