arXiv cs.AI· Wentao Tan, Qiong Cao, Jiaqi Wang, Nan Duan·· 3 天前AI 评分42
SearchMaster：面向搜索智能体的有据可依、受调控自博弈框架
SearchMaster: Grounded and Regulated Self-Play for Search Agents
AI 导读
SearchMaster 是一个自博弈框架，让共享 LLM 策略在本地搜索环境中自行生成、求解并验证搜索任务，无需人工标注 QA 对或专家演示。
正文 · AI 翻译
摘要：训练基于 LLM 的搜索智能体需要高质量的搜索数据：既要求任务具有真正的多跳检索需求，也要求轨迹能有效使用搜索工具。现有流程往往依赖人工编写的任务、专家演示或更强的教师模型。我们提出 SearchMaster，一个自博弈框架，它让一个共享的 LLM 策略在本地搜索环境中生成、求解并验证搜索任务，从而进行训练。关键挑战在于，自生成的任务和 rollout 可能产生误导性信号：伪多跳问题、忽略搜索深度的成功率难度估计，以及开头过多但针对性证据获取不足的 rollout。SearchMaster 通过三项控制来应对这些失败模式。证据链生成器（ECG）将任务生成建立在显式的跨文档证据链之上，以减少伪多跳问题。搜索深度奖励（SDR）根据成功 rollout 的搜索深度而非仅凭成功率来评估任务难度，从而保留搜索密集型任务。过度打开惩罚（OOP）通过抑制过度打开文档来规范工具使用，避免长时间但浅层的浏览。随后，经过验证的 Proposer 和 Solver rollout 使用 GRPO 联合优化。在六个深度搜索基准上，SearchMaster 将 Qwen3.5-9B 主干网络的平均准确率从 38.19% 提升至 51.52%，将 Qwen3.5-27B 主干网络的平均准确率从 51.25% 提升至 62.54%。在 BrowseComp-Plus 上，相应的提升分别为 30.1 和 17.8 个百分点。这些结果表明，有依据且受规范的自博弈能够在不同模型规模上提供有效的搜索智能体训练数据，而无需人工标注的问答对或专家演示。代码可在 此 https URL 获取。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2608.01822 [cs.AI] |
| （或 arXiv:2608.01822v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2608.01822 由 DataCite 提供的 arXiv 颁发 DOI |
提交历史
来自：Wentao Tan [查看邮箱]
[v1]
2026年8月3日星期一 07:29:11 UTC（214 KB）
[v2]
2026年10月12日星期一 09:35:58 UTC（215 KB）
来源：arXiv cs.AI · arxiv.org