跳到正文
arXiv cs.MA· John Wu, Rushi Qiang, Yuchen Zhuang, Guowang Li, Girish Narayanswamy, Max Xu, Sam Schmidgall, Mark Malhotra, Shwetak Patel, Jimeng Sun, Daniel McDuff, Bo Dai, Xin Liu·· 9 小时前AI 评分40

BuggyMLE:用注入 bug 扩展机器学习工程任务难度

BuggyMLE: Scaling Machine Learning Engineering Difficulty with Bug Injection

AI 导读

研究者提出 Code Complexity Index(CCI)难度指标,并基于它构建 BuggyMLE 框架,向可运行的 ML 仓库注入受控变异,生成超 6,600 个 bug 注入仓库变体和近 260K 行注入代码。

正文 · AI 翻译

作者:John Wu、Rushi Qiang、Yuchen Zhuang、Guowang Li、Girish Narayanswamy、Max Xu、Sam Schmidgall、Mark Malhotra、Shwetak Patel、Jimeng Sun、Daniel McDuff、Bo Dai、Xin Liu

查看 PDF HTML(实验性)

摘要:要让 AI 系统能够自主改进 AI 模型,就需要具备执行机器学习工程(MLE)能力的智能体。在实践中,设计、训练和评估复杂模型需要修改多文件代码仓库,以复现结果、调试训练过程、集成数据集并移植框架。然而,现有的 MLE 基准仅允许智能体进行单文件编辑,无法访问完整仓库或 shell,而常见的仓库级软件工程基准也已迅速饱和。为解决这一问题,我们提出了代码复杂度指数(CCI),这是一种基于十项结构特征的难度度量,涵盖仓库规模、依赖深度和补丁大小。CCI 能强有力地预测八个公开编码基准的平均解决率($R^2 = 0.951$),并识别出补丁大小和复杂度是最主要的预测因素。在 CCI 的指导下,我们开发了 BuggyMLE,这是一个可扩展的框架,智能体在其中向可运行的 ML 仓库注入受控变异,基于 222 个源仓库合成了超过 6,600 个注入缺陷的 MLE 仓库变体和近 26 万行注入代码。借助 BuggyMLE,我们做出了两项贡献。第一,我们构建了 BuggyMLE-Bench-Lite,这是 MLE-Bench Lite 的首个按难度分级、仓库级变体;在评估的 14 个模型中,随着难度从最简单层级提升到最难层级,最高解决率从 95% 降至 9%。第二,我们在 200 多个额外 ML 仓库上合成了涵盖三个难度级别的训练课程,对 Qwen3.5-9B 模型进行微调,使其在 BuggyMLE-Bench-Lite 上可与前沿模型匹敌。我们训练出的模型可迁移到 ML 之外,将其 SWE-bench Lite 解决率从 24% 提升至 33%,并将其 LiveCodeBench v6 pass@1 从 69% 提升至 71%。
学科: 人工智能(cs.AI);机器学习(cs.LG);多智能体系统(cs.MA);软件工程(cs.SE)
引用为: arXiv:2611.25088 [cs.AI]
  (或 arXiv:2611.25088v1 [cs.AI] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.25088

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:John Wu [查看邮箱]
[v1] 2026年11月18日星期三 19:26:15 UTC(703 KB)

来源:arXiv cs.MA · arxiv.org