arXiv cs.CL· Taewhoo Lee, Minju Song, Jungwoo Park, Chanwoong Yoon, Junha Jung, Hyeon Hwang, Sanghoon Lee, Minbyul Jeong, Jaewoo Kang·· 12 小时前AI 评分38
SARL：用自评估强化学习提升检索增强大模型的搜索状态感知
Self-Assessment Reinforcement Learning for Search-State Awareness in Retrieval-Augmented Large Language Models
AI 导读
研究者提出自评估强化学习框架 SARL，让模型在训练中学会识别自身搜索状态，无需测试时额外评估。SARL 采用双重奖励设计，相较最强基线实现 24.3% 的相对提升，多跳推理与深度研究基准上平均增益分别为 35.9% 和 27.9%。该框架无需推理时脚手架，在更长搜索跨度下仍保持训练稳定。
正文 · AI 翻译
摘要：搜索智能体的最新进展使大语言模型能够通过检索和整合外部信息来处理复杂任务。然而，现有搜索智能体往往缺乏搜索状态感知能力，即识别已获得哪些信息、仍缺少哪些信息的能力，从而导致幻觉式推理和过早终止搜索。为解决这一局限，我们提出自我评估强化学习（SARL），这是一个强化学习框架，模型在训练中学习识别自身的搜索状态并据此改进搜索行为，而无需在测试时进行额外评估。SARL 通过双重奖励设计实现这一点：既捕捉每次评估的纠正效果，又惩罚对其的过度依赖，从而共同鼓励有效且高效的搜索轨迹。在此设置下，SARL 相较最强基线取得 24.3% 的相对提升，在多跳推理和深度研究基准上相较各基准最强基线分别平均提升 35.9% 和 27.9%。尽管 SARL 是一个无需推理时脚手架的独立强化学习框架，它仍超越了基于辅助监督或多智能体协调的方法。除最终性能外，SARL 在扩展搜索视野下保持训练稳定性，而现有方法在该情形下持续退化，使收益随任务复杂度增长而持续提升。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.30435 [cs.CL] |
| （或本版本的 arXiv:2610.30435v1 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2610.30435 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Taewhoo Lee [查看邮箱]
[v1]
2026年10月21日 星期三 20:46:24 UTC（532 KB）
来源：arXiv cs.CL · arxiv.org