arXiv cs.AI· Wen Wang, Jindong Wang, Jiahua Bao, Tu Yongsiqi, Yihao Liu, Junwei He, Wenkui Fan·· 10 小时前AI 评分31
基于证据的信用分配:提升搜索增强语言模型的强化学习效果
Evidence-Based Credit Assignment for Search-Augmented Language Models
AI 导读
研究提出 Evidence-based Credit Assignment(ECA),用仅含问题与已检索文档的辅助信号衡量检索证据对参考答案似然的提升,替代对整段对话前缀打分。
正文 · AI 翻译
摘要:基于终端答案奖励的强化学习使搜索增强语言模型能够在无需步骤级标注的情况下交替进行推理与检索,然而结果监督对轨迹中的每次搜索赋予相同的信用,而不论其是否检索到了有用信息。当某个问题的所有采样 rollout 均失败时,这一局限尤为严重,即使各轨迹收集到的证据差异显著,以组为中心的结果优势也会坍缩为零。我们提出基于证据的信用分配(ECA),它在终端结果奖励之外增加一个仅用于训练的辅助信号,衡量检索到的文档在多大程度上提升参考答案的似然。ECA 不对完整对话前缀打分,而是在仅包含问题和迄今去重文档的证据提示下查询当前策略的冻结快照,从而将检索段落的效用与生成思维或搜索查询的表面变化隔离开来。在此框架内,我们比较了两种回报形式:ECA-Step(累积逐步裁剪的势能增量)和 ECA-Horizon(在势能中保留望远镜式时域增益),并配合交叉折组归一化、新颖性门控和搜索局部 token 分配。在七个 Search QA 基准上,ECA-Horizon 在 Qwen2.5-3B-Instruct 和 7B-Instruct 上分别将严格宏平均精确匹配较仅结果监督的 GRPO 基线提升 1.03 和 4.80 个百分点,优于 RLOO 和 GiGPO。在 MultiHop-RAG 上的零样本评估进一步表明其能强有力地迁移到多跳推理查询。
| 评论: | 16 页,4 幅图。包含补充材料 |
| 主题: | 人工智能(cs.AI) |
| 引用为: | arXiv:2611.23824 [cs.AI] |
| (或 arXiv:2611.23824v1 [cs.AI] 为此版本) | |
| https://doi.org/10.48550/arXiv.2611.23824 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Wen Wang [查看邮箱]
[v1]
2026 年 11 月 18 日星期三 04:24:51 UTC(1,294 KB)
来源:arXiv cs.AI · arxiv.org