代码理解是编程智能体的瓶颈：CABRA 基准发布

查看 PDF HTML（实验性）

摘要：面向编码智能体的仓库基准测试（如 SWE-bench）通常假设编辑的代码行数可以预测任务难度，但此类数据集对代码和任务类型的控制不佳，使得难以确定究竟是哪些能力真正导致了智能体的错误。我们提出 CABRA：一个用于严格智能体评估的编码能力蓝图。CABRA 从零开始以调用图变换的形式构建任务，并通过一个任务规模参数在四个维度上扩展难度：函数遍历、搜索、运行时解析和指令遵循。我们在 6,840 个 CABRA 任务上运行了八个 LLM 和六个编码智能体，结果表明：1）随着任务规模增大，LLM 准确率下降，但智能体通过将工作卸载给工具（如 grep）而保持近乎完美；2）更大的 CABRA 任务会引发更多用于阅读和分析的工具调用，而一项针对 SWE-bench Verified 的独立研究表明，这些工具调用次数比编辑的代码行数更能预测智能体的准确率，这表明智能体的任务难度可能在于理解要编辑的代码，而不仅仅在于进行编辑；3）将 CABRA 扩展为一个高强度理解任务，让模型分析两个类之间的分歧逻辑，进一步支持了这一发现，因为智能体的准确率终于下降了。更广泛地说，我们主张采用像 CABRA 这样的合成评估，以揭示被工具轻易化解的 LLM 弱点（如大海捞针）以及编码智能体仍然感到困难的、超越编辑的能力（如理解），从而将 SWE-bench 风格的任务与受控诊断配对使用。

提交历史

来自：Nishant Balepur [查看电子邮件]
[v1] 2026年10月7日星期三 06:29:42 UTC（1,445 KB）