arXiv cs.CL· Mingchen Li, Hansi Zeng, Zhuo Qian, Jiatan Huang, Sunjae Kwon, Hamed Zamani, Hong Yu·· 9 小时前AI 评分31
RICE-PO:将检索交互转化为推理智能体的信用信号
RICE-PO: Turning Retrieval Interactions into Credit Signals for Reasoning Agents
AI 导读
RICE-PO 是一个无需 critic 的策略优化框架,把检索交互转化为局部学习信号,用于训练迭代检索的推理智能体。它选取高不确定性的可执行动作作为锚点,用检索指标评估局部反事实分支,仅在推理对动作影响强且未来残差效应稳定时向隐式推理步骤传播信用。在 BRIGHT 和 BEIR 上,RICE-PO 在相同检索器设置下持续优于基于提示词的智能体和基于分组的 RL 基线。
正文 · AI 翻译
摘要:检索正日益从一次性匹配转向交互式推理,语言智能体在其中迭代地检查证据、重构查询并再次搜索。训练此类智能体带来了信用分配难题:查询或摘要等可执行动作可由检索器直接评估,而潜在推理步骤无法直接观测,只影响未来的可执行动作。这种不对称性使结果层面的奖励分配不可靠,因为相同的最终奖励可能将信用归于并未真正促成检索成功的推理步骤。我们提出 RICE-PO,一种无评论家的策略优化框架,将检索交互转化为局部化的学习信号。RICE-PO 选择高不确定性的可执行动作作为锚点,使用检索指标评估局部反事实分支,并仅在推理对动作的影响强烈且未来残余效应稳定时,才将信用传播至潜在推理步骤。在 BRIGHT 和 BEIR 上,RICE-PO 在相同检索器设置下持续优于基于提示的智能体和基于分组的强化学习基线。这些结果表明,智能体与环境交互的结构本身可以为训练基于推理的检索智能体提供有用的监督。
| 评论: | NIPS 2026 |
| 主题: | 计算与语言(cs.CL) |
| 引用为: | arXiv:2605.26352 [cs.CL] |
| (或 arXiv:2605.26352v4 [cs.CL] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2605.26352 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Mingchen Li [查看邮箱]
[v1]
2026年5月25日 星期一 21:56:29 UTC(215 KB)
[v2]
2026年8月1日 星期六 16:06:15 UTC(215 KB)
[v3]
2026年8月6日 星期四 01:35:38 UTC(215 KB)
[v4]
2026年11月17日 星期二 18:16:21 UTC(194 KB)
来源:arXiv cs.CL · arxiv.org