arXiv cs.AI· Jiajun Hu, Chun Yong Chong·· 6 天前AI 评分41
SWE-Critix：面向编程智能体轨迹评估的通用验证器后训练方法
SWE-Critix: Post-Training Generalist Verifiers for Assessing Coding-Agent Trajectories
AI 导读
SWE-Critix 是一套后训练流程，用于训练能判断编程智能体执行轨迹并生成自然语言分析解释的通用验证器。该流程结合 SFT 与 RL，基于 CodeForge-Preview 轨迹训练了一系列 30B 模型，在留出测试集上将分类准确率从基础 Qwen3-30B-A3B 推理模型的 57% 提升至 SFT 后的 66%、RL 后的 78%。模型、数据集与训练代码均已开源。
正文 · AI 翻译
摘要：编码智能体越来越多地被部署用于端到端软件工程任务，而在这类任务中，往往缺少一个现成的、定义成功标准的 oracle 评估器。这促使人们为编码智能体开发能够可靠判断并解释其行为的验证方法。然而，验证并非易事，因为编码智能体越来越有能力解决长时程软件工程任务。它们的执行轨迹可能极其漫长，包含与代码仓库和外部工具的数百次迭代交互。现有验证器要么依赖未经专门训练的通用 LLM，要么训练专门的评判器，而这些评判器主要专注于产生标量奖励，凸显出基于训练的通用验证探索相对有限。我们提出 SWE-Critix，一个用于训练编码智能体轨迹通用验证器的后训练流水线。给定一个任务及其执行轨迹，所学习的验证器会预测完成标签，并生成自然语言分析来解释其判断。我们的流水线结合了监督微调（SFT）与强化学习（RL），并在来自 CodeForge-Preview 的轨迹上训练了一系列 30B 模型。在留出测试集上，SWE-Critix 将分类准确率从基础 Qwen3-30B-A3B 推理模型的 57% 提升至 SFT 后的 66% 以及 RL 后的 78%。我们发布模型、数据集和训练代码，以促进进一步研究。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.13356 [cs.AI] |
| （或 arXiv:2610.13356v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13356 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jiajun Hu [查看电子邮件]
[v1]
2026年10月9日星期五 10:30:21 UTC（273 KB）
来源：arXiv cs.AI · arxiv.org