微软论文：编码智能体瓶颈在“读代码”而非“改代码”

Rohan Paul· @rohanpaul_ai · X·2026-10-10 06:43· 22 分钟前AI 评分44

AI 导读

微软论文发现编码智能体在理解大量代码时容易出错，而非编辑大量代码时，因此建议用代码阅读与比较任务而非 diff 大小来评测。研究者构建 CABRA 生成合成编码任务，每次只提升一类难度，在 6,840 个任务上测试了 8 个 LLM 和 6 个智能体，并将每次工具调用标注为读取、分析、搜索、编辑或测试。

正文

微软新论文发现，编码智能体在必须理解大量代码时会出错，而不是在必须编辑大量代码时，因此应通过阅读和比较代码来测试它们，而不是看 diff 大小。

微软研究人员构建了 CABRA，它生成合成编码任务，并每次只提升一类难度。他们在 6,840 个任务上运行了 8 个 LLM 和 6 个智能体，并将每次工具调用标注为读取、分析、搜索、编辑或测试。

普通 LLM 随着任务规模增长而表现变差，但智能体通过使用 grep 等工具几乎保持完美。在 SWE-bench Verified 上，读取和分析调用的数量比编辑行数更能反映智能体的失败，相关性分别为 -0.200 和 -0.159。

来源：Rohan Paul · x.com