arXiv cs.CL· Ruotian Peng, Yuanyi Ren, Shuaiqi Liu, Xin Guo, Fang Zhu, Yangyi Huang, Yue Wu, Zheng Wang, Yandong Wen, Zhihang Fu·· 11 小时前AI 评分49
VibeTraining-Bench：面向迭代系统改进的数据-训练器-推理框架协同设计基准
VibeTraining-Bench: Data-Trainer-Harness Co-Design for Iterative System Improvement
AI 导读
VibeTraining-Bench 是评估研究型智能体跨组件协同设计能力的基准，覆盖终端操作、软件工程、多轮工具调用与数学推理任务。在 SWE-bench Verified 上，GPT-6-Astra 将目标智能体系统性能从 32.9% 提升至 53.7%，接近人工开发的 instruct 模型 55.4%。
正文 · AI 翻译
摘要：递归自我改进（RSI）要求智能体诊断系统瓶颈，并协调训练与推理方面的改进。我们将智能体联合优化训练数据、训练器和推理框架的能力称为跨组件协同设计。我们推出 VibeTraining-Bench，这是一个用于评估该能力在终端操作、软件工程、多轮工具使用和数学推理等任务中表现的基准。在每个任务中，研究智能体在固定资源预算下从相同的初始智能体系统出发。在验证反馈的引导下，它们迭代优化数据、训练器和推理框架，然后选择并提交一个最终智能体系统用于在测试集上评估。为防止奖励黑客行为，我们实施了三项保障措施：测试数据隔离、研究容器与评分容器分离，以及对研究智能体的网络限制。我们的评估结果表明，前沿研究智能体能显著提升目标智能体系统的性能。例如，在 SWE-bench Verified 上，GPT-6-Astra 将目标智能体系统的性能从 32.9% 提升至 53.7%，与人类开发的 instruct 模型的 55.4% 相当。然而，它们在协同设计并迭代优化数据、训练器和框架以实现累积性能提升方面的能力仍有提升空间。我们希望 VibeTraining-Bench 能成为一个统一平台，推动 RSI 的发展，加深我们对智能体系统跨组件优化的理解。代码和数据可在 此 https URL 获取。
| 评论： | （技术报告（27 页，21 幅图） |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.26342 [cs.AI] |
| （或 arXiv:2610.26342v2 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.26342 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Ruotian Peng [查看邮箱]
[v1]
2026 年 10 月 19 日星期一 13:10:54 UTC（1,068 KB）
[v2]
2026 年 10 月 20 日星期二 13:03:07 UTC（1,067 KB）
来源：arXiv cs.CL · arxiv.org