arXiv cs.AI· Yiran Wu, Andrew Zhao, Yurui Chang, Qingyun Wu, Xuan Feng·· 6 天前AI 评分26
超越二元可验证奖励：面向 SWE 智能体的行为自奖励方法
Beyond Binary Verifiable Rewards: Behavioral Self-Rewarding for SWE Agents
AI 导读
研究者提出 Behavioral Self-Rewarding（BSR），复用策略本身对同一任务、同一验证器结果下的轨迹进行调试行为两两比较，将偏好聚合为任务内分数并转为有界辅助奖励，在不新增环境交互的前提下引入奖励对比。在 SWE-bench Verified 和 SWE-bench-Live 上，Qwen3-14B 与 Qwen3-32B 配置均取得一致提升。
正文 · AI 翻译
摘要：带可验证奖励的强化学习（RLVR）通过可执行测试为软件工程智能体提供可靠的监督，但二元奖励无法区分调试质量存在显著差异的轨迹。我们研究当前策略能否评判自身的轨迹，并利用这些评判来提升任务表现，而无需单独训练奖励模型。为此，我们提出了行为自奖励（BSR），一种奖励精炼方法，它复用策略来比较同一任务中、具有相同验证器结果的轨迹之间可观察的调试行为。BSR 将成对偏好聚合为任务局部得分，并将其转换为有界的辅助奖励，在保留验证器定义的通过/失败排序的同时引入奖励对比。这从已收集的轨迹中提供额外监督，而无需新的环境交互。在 SWE-bench Verified 和 SWE-bench-Live 上的实验表明，在所评估的 Qwen3-14B 和 Qwen3-32B 配置上均取得了一致提升，支持将策略自身的比较性评判作为训练软件工程智能体的补充学习信号。
| 主题： | 人工智能（cs.AI）；软件工程（cs.SE） |
| 引用为： | arXiv:2610.12598 [cs.AI] |
| （或 arXiv:2610.12598v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.12598 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yiran Wu [查看邮箱]
[v1]
2026年10月8日星期四 18:21:10 UTC（591 KB）
来源：arXiv cs.AI · arxiv.org