arXiv cs.CL· Wenyu Huang, Xinyu Hou, Pavlos Vougiouklis, Ruofei Lai, Jeff Z. Pan·· 10 天前AI 评分24
超越结果奖励：为搜索智能体构建与分配检索信用
Beyond Outcome Rewards: Constructing and Assigning Retrieval Credit for Search Agents
AI 导读
针对搜索智能体 RLVR 训练中结果监督稀疏、信用分配困难的问题，研究者系统考察了多种奖励塑形与信用分配策略，并提出将中间检索信号与最终结果奖励结合的框架。在多个 benchmark 匹配训练条件下，该框架提升了搜索智能体的整体表现，且中间信号的选择与信用分配位置都会影响训练行为。
正文 · AI 翻译
摘要：搜索智能体使大型语言模型（LLM）能够为复杂的多跳问题迭代地检索和使用信息。带可验证奖励的强化学习（RLVR）为这类智能体的后训练提供了一种有前景的方法，但其对稀疏的、基于结果的监督的依赖会使信用分配变得困难，并限制学习效率。在本文中，我们系统地研究了中间监督如何改进搜索智能体的强化学习。我们研究了一系列奖励塑形和信用分配策略，这些策略从中间检索步骤提供学习信号。基于这些见解，我们开发了一个训练框架，将中间信号与最终结果奖励相结合，以改进从多步搜索轨迹中的学习。在匹配训练条件下跨多个基准的实验表明，搜索智能体的总体性能有所提升，并表明中间信号的选择及其信用分配的位置都会影响训练行为。这些发现表明，奖励设计和信用分配是训练有效搜索智能体的重要设计维度。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.10179 [cs.CL] |
| （或 arXiv:2610.10179v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.10179 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Wenyu Huang [查看电子邮件]
[v1]
2026年10月7日星期三 14:48:47 UTC（167 KB）
来源：arXiv cs.CL · arxiv.org