arXiv cs.AI· Tingyue Pan, Mingyue Cheng, Daoyu Wang, Yitong Zhou, Jie Ouyang, Qi Liu, Enhong Chen·· 3 天前AI 评分29
ScholarQuest：面向开放文献环境的智能体学术论文搜索分类基准
ScholarQuest: A Taxonomy-Guided Benchmark for Agentic Academic Paper Search in Open Literature Environments
AI 导读
研究者提出 ScholarQuest，一个基于 1000 多个计算机科学主题、围绕四类研究意图构建的分类引导基准，并配套百万级文献环境 ScholarBase 与共享多轮搜索测试框架。
正文 · AI 翻译
摘要：学术论文搜索是科研中的核心步骤，基于 LLM 的搜索智能体正成为一种有前景的范式，用于迭代式、意图驱动的文献探索。然而，现有基准对研究意图的覆盖有限，且对可扩展的答案构建和可复现的多轮评估支持不足。我们提出 \textbf{ScholarQuest}，一个由分类体系引导的基准，基于 1,000 多个计算机科学主题构建，并围绕四种研究意图组织。为大规模构建答案集，我们结合了多源检索、引用扩展和多阶段相关性裁定。我们进一步构建了 \textit{\textbf{ScholarBase}}，一个百万级文献环境，具有统一的检索和引用扩展接口，以及一个共享的多轮搜索测试框架。我们在该框架内对完整的文献搜索系统进行基准测试并比较语言模型，评估检索覆盖率、搜索效率以及跨研究意图的鲁棒性。结果表明，智能体方法优于单次检索基线，但表现最佳的搜索系统仅达到 0.312 Recall@100 和 0.352 Recall@All。在共享框架下的比较揭示了依赖意图的模型优势，更高的 Planner token 消耗并不总能带来更高的召回率。我们发布该基准、检索后端和评估框架，以支持可复现研究
| 主题： | 信息检索（cs.IR）；人工智能（cs.AI） |
| 引用为： | arXiv:2606.20235 [cs.IR] |
| （或此版本的 arXiv:2606.20235v2 [cs.IR]） | |
| https://doi.org/10.48550/arXiv.2606.20235 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Tingyue Pan [查看电子邮件]
[v1]
2026年6月18日星期四 13:47:20 UTC（1,634 KB）
[v2]
2026年10月13日星期二 08:10:47 UTC（1,749 KB）
来源：arXiv cs.AI · arxiv.org