arXiv cs.CL· Shengze Huang, Zihao Tang, Jinluan Yang, Xin Yu, Zhenghao Lin, Xiao Liu, Zengxuan Wen, Yeyun Gong, Haizhen Huang, Weiwei Deng, Feng Sun, Qi Zhang, Fei Wu, Kun Kuang·· 6 天前AI 评分31
SOAR：面向搜索智能体的来源感知强化学习与精确信用分配
SOAR: Source-Aware Reinforcement Learning with Precise Credit Assignment for Search Agents
AI 导读
针对搜索智能体绕过外部信息、编造错误答案的"证据捏造"问题，研究者提出 SOAR（来源感知强化学习），通过 Source-Aware Workflow 将外部信息与内部知识拆分为可观测的并行流，并用 Source-Consistent Reward 引导策略演化。在 3B 和 7B 骨干模型上，SOAR 分别比基线提升 7.3% 和 5.4%，同时将证据捏造减少 74.8%。
正文 · AI 翻译
作者：Shengze Huang、Zihao Tang、Jinluan Yang、Xin Yu、Zhenghao Lin、Xiao Liu、Zengxuan Wen、Yeyun Gong、Haizhen Huang、Weiwei Deng、Feng Sun、Qi Zhang、Fei Wu、Kun Kuang
摘要：用于搜索智能体的强化学习（RL）常常受到证据捏造问题的困扰，这是一种失败模式，即智能体绕过外部信息（$E_{ext}$）并捏造出错误答案。我们认为，这种捏造源于对不可靠内部知识（$E_{int}$）的过度依赖，将其作为捷径，这是由于推理轨迹本身的不透明性所致。为解决这一问题，我们提出了 SOAR（SOurce-Aware Reinforcement learning，来源感知强化学习），这是一种将单一推理转化为来源显式轨迹的范式。SOAR（i）通过来源感知工作流将 $E_{ext}$ 和 $E_{int}$ 解耦为并行、可观测的流，并且（ii）引入来源一致性奖励来引导策略演化。通过使信息来源归因显式化，SOAR 能够在不同知识流之间实现精确的信用分配。评估表明，SOAR 在 3B 和 7B 骨干模型上分别比基线高出 7.3% 和 5.4%，同时将证据捏造减少了 74.8%。这些结果证实，SOAR 在知识密集型基准上显著提升了性能，同时有效缓解了证据捏造，促进了更忠实、更有依据且鲁棒性更强的推理。
| 评论： | 17 页，3 幅图，16 张表 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.13157 [cs.CL] |
| （或使用 arXiv:2610.13157v1 [cs.CL] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.13157 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Shengze Huang [查看邮箱]
[v1]
2026年10月9日星期五 07:45:11 UTC（376 KB）
来源：arXiv cs.CL · arxiv.org