arXiv cs.CL· Yibin Huang, Bin Xu, Hailong Cao, Conghui Zhu·· 11 小时前AI 评分26
BiCAA：面向搜索增强智能体的双向信用分配方法
BiCAA: Bidirectional Credit Assignment for Search-Augmented Agent
AI 导读
BiCAA 提出双向信用分配方法，用 Forward Solvability Gain（FSG）和 Subsequent Reasoning Gain（SRG）为搜索增强智能体的中间搜索步骤提供细粒度过程反馈，弥补 GRPO 仅依赖最终答案奖励的不足。
正文 · AI 翻译
摘要：通过迭代检索并整合外部证据，多步搜索使搜索增强型智能体能够应对复杂问答任务。然而，原始 GRPO 仅依据最终答案分配奖励，对中间搜索步骤的指导有限。为提供细粒度的过程反馈，我们评估每个搜索步骤的价值：它应获取推动问题解决的证据，同时避免冗余检索。基于这些互补标准，我们提出 BiCAA，它结合前向可解性增益（FSG）与后续推理增益（SRG）进行双向信用分配。为奖励证据获取的进展，FSG 量化每次交互后真实答案似然的变化。SRG 比较有和没有当前交互时后续动作的似然，以近似衡量其对后续推理的支持，并将该支持作为非冗余搜索的代理信号，以鼓励有效且高效的搜索。BiCAA 通过非对称融合校准局部反馈；在策略优化中，它将累积的过程奖励与终端结果监督相结合。在七个开放域问答基准和两个 Qwen 主干模型上，实验显示平均 F1 有所提升，尤其是在多跳任务上。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2608.01321 [cs.CL] |
| （或 arXiv:2608.01321v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.01321 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yibin Huang [查看邮箱]
[v1]
2026年8月2日星期日 15:41:57 UTC（236 KB）
[v2]
2026年11月2日星期一 12:33:04 UTC（212 KB）
来源：arXiv cs.CL · arxiv.org