跳到正文
arXiv cs.AI· Yining Hua·· 23 小时前AI 评分58

研究:编码基准得分更高的模型并未带来更多实际工作量

Higher-Scoring Coding Models Did Not Get More Work Done

AI 导读

一项研究利用 2026 年 6 月 12 日美国出口管制指令导致 Claude Fable 5 被禁用 19 天这一自然实验,追踪 297 名 Fable 5 用户在停用前后的 GitHub PR,并以 8,908 名始终使用 Opus 4.8 的开发者作为对照组。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:新的编程模型以编程基准测试分数的提升作为宣传卖点。然而,尚无研究检验在这些基准上得分更高的模型是否真能完成更多实际工作。2026 年 6 月 12 日,美国一项出口管制指令禁止访问 Claude Fable 5,为期 19 天,迫使用户转向其他模型。在此期间,大多数原 Fable 5 用户转向了 Opus 4.8(在 SWE-Bench Pro 上比 Fable 5 低 11 分)。我们将此次停用视为一次自然实验:人员与项目保持不变,只有模型发生改变,因此可以分离出 Fable 5 对用户生产力的影响。我们追踪了 297 名 Fable 5 用户在停用前、中、后的 GitHub 拉取请求。我们以始终使用 Opus 4.8 的 8,908 名开发者作为对照组。我们还在 2026 年停用前后重复了五次模型升级的对比(1,208 名开发者,15,442 个拉取请求)。拟合带有开发者和日期固定效应的双重差分模型后,我们发现,能够访问 Fable 5 仅使拉取请求的 7 天合并率提高 1.4 个百分点 [-1.4; +4.3],且不具有统计显著性。同样,模型升级也未带来合并率的显著提升(加权均值:-0.9 个百分点 [-1.9; +0.2]);五个估计值均为负(95% 区间包含 0,彼此无差异)。我们也没有观察到每周合并的拉取请求数量显著增加(+2.4% [-4.9%; +10.2%])。
评论: 20 页,4 张图
主题: 软件工程(cs.SE);人工智能(cs.AI);机器学习(cs.LG)
引用为: arXiv:2611.23216 [cs.SE]
  (或 arXiv:2611.23216v1 [cs.SE] 为本版本)
  https://doi.org/10.48550/arXiv.2611.23216

由 DataCite 颁发 arXiv DOI(待注册)

提交历史

来自:Yining Hua [查看邮箱]
[v1] 2026 年 11 月 17 日星期二 18:56:42 UTC(170 KB)

来源:arXiv cs.AI · arxiv.org