arXiv cs.AI· Yangshen Deng, Jiaqi Ruan, Yeqi Huang, Nick Lau, Guangming Sheng, Luo Mai·· 12 小时前AI 评分52
InfraDev：编码智能体能否开发 AI 基础设施，又该如何评判
InfraDev: Can Coding Agents Develop AI Infrastructure, and How Can We Tell?
AI 导读
研究者提出 InfraDev 基准，包含 36 个源自 Megatron-LM、vLLM 和 verl 真实 PR 的任务，覆盖训练、推理与强化学习的基础设施开发，要求智能体跨多文件、多 GPU 重实现真实改动。
正文 · AI 翻译
摘要：编码智能体正开始构建用于训练和服务大模型的生产级 AI 基础设施，但现有基准仅覆盖单个内核或单 GPU 任务，且其评分所用的测试与提示会同时误判正确与错误的补丁。我们推出 InfraDev，这是一个包含 36 项任务的基准，任务源自 Megatron-LM、vLLM 和 verl 的真实拉取请求，涵盖训练、推理和强化学习的基础设施开发。每项任务要求智能体重新实现一项跨多个文件的真实改动，并且必须在多 GPU 上正确运行。为对此类改动进行评分，我们联合合成了隐藏探针（用于强制满足原始测试未检查的要求）以及一个提示（声明探针调用的每个接口，但不泄露解决方案）。我们还设计了一个共享执行环境，可跨任务复用依赖项和产物，在 Megatron-LM 和 vLLM 上将存储减少 52-57%，构建时间减少 13-14%。在六个前沿模型中，最佳者仅解决 38.9% 的任务；探针拒绝了 32% 通过所有官方测试的提交，而若以原始拉取请求描述作为提示，没有任何模型能解决哪怕一项任务。失败分析表明，结构和状态错误占主导，且智能体自身的测试很少检查内存、时间或流量。将这些发现转化为一项智能体技能后，前沿模型在 Megatron-LM 任务上的解决率提升了 10.5%。
| 学科： | 人工智能（cs.AI）；分布式、并行与集群计算（cs.DC） |
| 引用为： | arXiv:2610.36589 [cs.AI] |
| （或 arXiv:2610.36589v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.36589 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yangshen Deng [查看电子邮件]
[v1]
2026年10月27日星期二 03:47:47 UTC（242 KB）
来源：arXiv cs.AI · arxiv.org