arXiv cs.AI· Siqi Chen, Zhengxi Lu, Yuchen Yan, Xingyu Wu, Qipeng Chen, Xin Zhang, Aiting Liu, Chao Deng, Jie Liu, Jin Ma, Weiming Lu, Jun Xiao, Yongliang Shen·· 2 天前AI 评分34
KnowGPO：面向搜索智能体的知识分组策略优化
KnowGPO: Knowledge-Grouped Policy Optimization for Search Agents
AI 导读
KnowGPO 是一个按任务相关知识而非表面观测对齐轨迹的强化学习框架，将查询所需信息拆解为原子知识条件，用已满足条件的子集表示轨迹状态，并对相同知识状态的轨迹分组比较，以步间知识增量为过程奖励。在 Xbench、BrowseComp-ZH 和 GAIA 上，KnowGPO 比 GRPO、GiGPO、IGPO 等基线高出 3.8 至 4.2 分，其 8B 模型可媲美或超过多数 32B 开源系统。
正文 · AI 翻译
作者：Siqi Chen、Zhengxi Lu、Yuchen Yan、Xingyu Wu、Qipeng Chen、Xin Zhang、Aiting Liu、Chao Deng、Jie Liu、Jin Ma、Weiming Lu、Jun Xiao、Yongliang Shen
摘要：深度搜索智能体通过长时程、多轮交互来解决知识密集型任务，其中将信用分配给单个搜索决策从根本上就很困难。基于结果的强化学习仅提供一个在整个轨迹上共享的单一终端奖励。近期的过程监督方法旨在以更细的粒度分配信用，但它们通常将信用锚定在表层轨迹状态或模型内部信号上，而在深度搜索中，由于观测是异构的、检索到的上下文冗长且充满噪声，这两者都变得不可靠。我们提出 KnowGPO，一个强化学习框架，它依据轨迹所获取的任务相关知识而非其表层观测来对齐轨迹。对于每个查询，KnowGPO 将推导答案所需的信息分解为原子知识条件，并用轨迹在每一步已满足的条件子集来表示该步的状态。具有相同知识状态的轨迹被分组进行组内比较，而连续步骤之间的增量知识增益则作为基于环境的过程奖励。在 Xbench、BrowseComp-ZH 和 GAIA 上的实验表明，KnowGPO 持续优于仅基于结果的方法（GRPO）和过程监督基线（GiGPO、IGPO）3.8 至 4.2 分，我们的 8B 模型可与大多数 32B 开源系统相媲美甚至超越。
| 评论： | 代码可在 此 https URL 获取 |
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.22331 [cs.AI] |
| （或 arXiv:2610.22331v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22331 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Chen Siqi [查看电子邮件]
[v1]
2026年10月15日星期四 17:52:33 UTC（470 KB）
来源：arXiv cs.AI · arxiv.org