arXiv cs.AI· Weize Liu, Minghui Liu, Sy-Tuyen Ho, Yongkyun Lee, Andrew Adams Schoen, Souradip Chakraborty, Xiyao Wang, Furong Huang·· 9 天前AI 评分34
Agentic Critical Training：用 RLVR 训练语言模型智能体判断动作
Agentic Critical Training
AI 导读
研究提出 Agentic Critical Training（ACT），用带可验证奖励的强化学习（RLVR）训练语言模型智能体直接判断动作：在每个专家轨迹状态上，将专家动作与从初始策略采样的替代动作配对并随机排序，模型自行生成推理但仅在选中专家动作时获得奖励。
正文 · AI 翻译
摘要：模仿学习（IL）教导语言模型智能体复现专家动作，但无法将其与看似合理的错误区分开来。自我反思方法让模型接触备选方案，却使用监督微调（SFT）来模仿固定的推理依据和动作。我们提出智能体批判训练（ACT），它使用带可验证奖励的强化学习（RLVR）来训练模型直接评判动作。在每个专家轨迹状态，ACT 将专家动作与从初始策略中采样的备选动作配对，并随机化它们的顺序。模型生成自己的推理，但只有选择专家动作才会获得奖励。ACT 复用演示数据，不需要参考推理依据，并允许配对在不同模型规模间复用。ACT 是 IL 之前的预热阶段，之后可选地接 RL；推理时无需候选比较。在 Qwen3-8B 和 Olmo-3-7B-Instruct 上，于 ALFWorld-ID、WebShop 和 ScienceWorld 中，ACT 相比 IL 平均提升 5.85 分，相比无 ACT 的 IL$\to$RL 提升 4.12 分，同时还改善了 ALFWorld-OOD。在 ScienceWorld 上使用 Olmo 时，完整流程相比 CoT 提示提升 15.36 分，相比无 ACT 的 IL$\to$RL 提升 9.23 分。ACT$\to$IL 和完整流程均优于监督反思基线。使用固定配对或匹配训练时长的对照实验表明，增益源于 ACT 目标，而非额外数据或训练。在没有推理专用后训练的情况下，独立的 ACT 检查点在 MATH-500 和 GPQA-Diamond 上取得了所评估模型中的最高均值，表明动作比较可以补充生成。
| 评论： | 项目页面：this https URL |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2603.08706 [cs.AI] |
| （或 arXiv:2603.08706v2 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2603.08706 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Weize Liu [查看电子邮件]
[v1]
2026年3月9日星期一 17:58:56 UTC（1,082 KB）
[v2]
2026年10月8日星期四 17:18:41 UTC（1,747 KB）
来源：arXiv cs.AI · arxiv.org