arXiv cs.AI· Chenqian Le, Jiayi Cheng, Qijia He, Runhao Li, Yinghao Li, Xupeng Chen·· 6 天前AI 评分29
多执行框架强化学习训练编码智能体：训练增益与框架依赖
Multi-Harness Reinforcement Learning for Coding Agents: Training Gains and Harness Dependence
AI 导读
研究用同一 SFT 检查点训练两个 Qwen3-8B RL 变体，仅奖励归一化方式不同（框架内 Within 与跨框架 Cross）。在 SWE-bench Verified 上，四种训练框架的平均提升分别为 +0.48 和 +0.77 个百分点；Cross 虽提高非零优势轨迹比例，但在未见框架上未稳定优于 Within，两者均未显著超过 SFT。
正文 · AI 翻译
摘要：近期系统通过在多个执行框架（harness）中收集的轨迹，使用强化学习（RL）训练编码智能体。然而，在训练框架下取得的增益仍无法确定这些改进能否迁移到未见过的接口，以及它们如何依赖于奖励归一化。我们提出了一项受控研究，在固定框架下测量 RL 增益，并在不同框架间比较相同的模型。我们使用相同的回放数据，从同一个监督微调（SFT）检查点训练了两个 Qwen3-8B RL 变体。它们仅在每个任务的奖励是在每个框架内归一化（Within）还是跨框架归一化（Cross）上有所不同。在 SWE-bench Verified 上，我们得出三个主要发现：（i）多框架 RL 在两种归一化规则下均较 SFT 基线取得适度增益。在四个训练框架上，Within 和 Cross 的估计平均提升分别为 +0.48 和 +0.77 个百分点。（ii）Cross 增加了具有非零优势的轨迹比例，但在不同训练种子和评估预算下，在未见过的框架上相较 Within 并未提供一致优势；在该框架上，两种规则均未显著优于 SFT。（iii）性能在不同框架间的差异远大于 RL 训练带来的差异。对模型变体取平均后，最高和最低源框架解决率相差 7.13 个百分点，远超估计的训练增益。即使经过多框架 RL，观察到的不同执行接口间的性能差异仍远大于训练带来的增益或归一化规则之间的差异。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2609.04518 [cs.AI] |
| （或使用 arXiv:2609.04518v2 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2609.04518 由 DataCite 提供的 arXiv 颁发 DOI |
提交历史
来自：Chenqian Le [查看电子邮件]
[v1]
2026年9月3日星期四 22:17:02 UTC（472 KB）
[v2]
2026年10月9日星期五 15:50:30 UTC（478 KB）
来源：arXiv cs.AI · arxiv.org