arXiv cs.AI· Chenxu Zhang, Yaorui Shi, Wenlong Zhang, Jianchao Tan, Zihan Wang, Yiming Cheng·· 6 天前AI 评分22
MCGPO：面向 LLM 智能体训练的匹配上下文组策略优化
Matched-Context Group Policy Optimization for LLM Agent Training
AI 导读
研究者提出 Matched-Context Group Policy Optimization（MCGPO），从已采集轨迹中构建加权动作偏好，用于长时程 LLM 智能体训练中的信用分配。
正文 · AI 翻译
摘要：训练长时程语言模型智能体需要从稀疏的终端反馈中为中间决策分配信用。在一组有限的同源 rollout 中，有用的动作比较取决于其上下文、两种备选方案的证据，以及该证据如何进入学习过程。我们提出匹配上下文组策略优化（Matched-Context Group Policy Optimization，MCGPO），一种从已收集轨迹中构建加权动作偏好的方法。MCGPO 以动作前状态摘要和观察到的评分标准进展来定义比较上下文，并由任务规则进行标注。双动作支持在有序的精确匹配和粗粒度匹配规则中进行选择。固定折将候选决策与用于确定其偏好方向的终端结果分开，而依赖于支持的证据权重则在共享的 GraphGPO 任务学习之外，对辅助成对目标进行缩放。MCGPO 复用 rollout 数据和每个响应的原始历史，保持无评论者训练。在六个环境-骨干设置（每个设置三个训练种子）中，MCGPO 相比匹配的 GraphGPO 提升了平均成功率：在 ALFWorld 和 WebShop 上，使用 Qwen2.5-1.5B 和 7B 时提升 0.47-1.46 个百分点；在使用 Qwen3-4B 和 8B 的 WebShop 上分别提升 3.96 和 5.16 个百分点。ALFWorld 的提升建立在高于 92% 的基线成功率之上，剩余提升空间有限。在四个 Qwen2.5 设置中有三个的集成成功率得到提升。三种子析因控制支持相反折证据和证据加权；联合状态-评分标准匹配在所有四个表示控制设置中均取得最高均值。
| 评论： | 29 页，9 幅图 |
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.13755 [cs.LG] |
| （或 arXiv:2610.13755v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13755 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Chenxu Zhang [查看电子邮件]
[v1]
2026 年 10 月 9 日星期五 15:41:37 UTC（1,052 KB）
来源：arXiv cs.AI · arxiv.org