arXiv cs.AI· Yubo Wang, Rui Meng, Jaehyun Nam, Tomas Pfister, Jinsung Yoon·· 11 小时前AI 评分38
ReproBridge：为机器学习研究工件构建可复现性
ReproBridge: Building Reproducibility into ML Research Artifacts
AI 导读
ReproBridge 是一套智能体工作流，用于构建包含精炼代码库、环境配置、实验启动器和复现指南的标准化可复现工件。配套的 ReproBridge-Bench 覆盖 36 篇论文的 387 个实验共 1,029 项任务，在四个评测模型上把平均复现成功率从 76.4% 提升到 92.6%，下游 API 开销平均降低 19.7%。
正文 · AI 翻译
摘要：复现机器学习实验需要从散落在论文、已发布代码和配套工件中的信息重建流程。因此，对于编码智能体而言，复现能否成功可能取决于其填补缺失细节的能力，而不仅仅取决于已发布的工件。我们探究保留恢复出的流程与决策是否能改善后续的独立复现。我们定义了一种标准化工件设计，包括精炼后的代码库、环境配置、实验启动器和复现指南，并提出了 ReproBridge，一种用于构建这些精炼可复现工件的智能体工作流。ReproBridge-Bench 提供了来自 36 篇论文中 387 个实验的 1,029 个任务，每个任务以五个人工验证的参考分数为基准。智能体在全新会话中使用原始代码或精炼工件尝试任务；独立的 Auditor 检查执行证据。在四个被评估的模型中，精炼工件将平均复现成功率从 76.4% 提升至 92.6%，并将下游 API 支出平均降低 19.7%。跨模型成功率差距从 21.6 个百分点缩小至 3.9 个百分点，四个模型的平均成功率均超过 90%。在消融研究中，移除任何组件都会降低成功率，其中移除代码和环境造成的损失最大。这些结果表明，保留执行知识有助于即使原始代码成功率较低的模型也能更可靠、以更低的 API 成本复现实验。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.08452 [cs.AI] |
| （或 arXiv:2611.08452v1 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.08452 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yubo Wang [查看邮箱]
[v1]
2026年11月5日星期四 18:45:36 UTC（3,856 KB）
来源：arXiv cs.AI · arxiv.org