arXiv cs.AI· Jiayi Wu, Ruobing Xie, Zeqian Huang, Lei Jiang, Can Xu, Kangyang Luo, Bochen Lin, Ming Gao, Xiang Li·· 3 天前AI 评分23
CalibAdv：为搜索智能体校准 GRPO 优势的负优势双刃剑问题
Negative Advantages Is a Double-Edged Sword: Calibrating advantages in GRPO for Search Agents
AI 导读
针对 GRPO 在多跳搜索中惩罚正确中间步骤、训练不稳定等问题，研究者提出优势校准方法 CalibAdv，利用中间步骤正确性在细粒度上缩减过大的负优势，并重新平衡正负优势以提升训练稳定性。该方法采用轻量设计，仅从标准 rollout 信号校准优势，在三个模型和七个基准上同时提升了性能与训练稳定性，代码已开源，论文被 EMNLP 2026 Findings 接收。
正文 · AI 翻译
摘要：搜索智能体通过与搜索引擎的多轮交互实现了强大的问答性能，其中组相对策略优化（GRPO）是一种广泛使用的训练算法。然而，GRPO 类算法在多跳搜索场景中仍面临若干挑战。首先，当最终答案错误时，正确的中间步骤往往受到惩罚。其次，训练高度不稳定，常导致自然语言能力退化，甚至出现灾难性的训练崩溃。我们的分析将这些问题归因于粗粒度的优势分配以及正负优势之间的不平衡。为解决这些问题，我们提出了 CalibAdv，一种专为搜索智能体设计的优势校准方法，能够对惩罚和奖励进行更准确、更稳定的建模。具体而言，CalibAdv 利用中间步骤的正确性，在细粒度层面缩减过度的负优势。随后，它进一步重新平衡正负优势，以提高训练稳定性。重要的是，CalibAdv 采用轻量级设计，从标准 rollout 信号中校准优势，使其简单且易于部署。在三个模型和七个基准上的大量实验表明，CalibAdv 同时提升了模型性能和训练稳定性。我们的代码可在 此 https URL 获取。
| Comments: | 被 EMNLP 2026 Findings 接收 |
| Subjects: | 计算与语言（cs.CL）；人工智能（cs.AI） |
| Cite as: | arXiv:2604.18235 [cs.CL] |
| （或 arXiv:2604.18235v3 [cs.CL] 对应此版本） | |
| https://doi.org/10.48550/arXiv.2604.18235 由 DataCite 颁发 arXiv DOI |
Submission history
来自：Jiayi Wu [查看邮箱]
[v1]
2026年4月20日星期一 13:21:19 UTC（1,503 KB）
[v2]
2026年5月27日星期三 15:09:35 UTC（1,529 KB）
[v3]
2026年10月12日星期一 12:48:46 UTC（1,533 KB）
来源：arXiv cs.AI · arxiv.org