arXiv cs.AI· Dayoon Ko, Jihyuk Kim, Soyeong Jeong, Young-jun Lee, Dahyun Lee, Juyeon Kim, Gunhee Kim, Moontae Lee, Kyungjae Lee·· 12 小时前AI 评分38
CompLit 基准：科学文献检索评测须覆盖隐性、累积与未满足需求
CompLit: Scientific Literature Search Benchmarks Must Cover Implicit, Cumulative, and Unmet Needs
AI 导读
研究者提出文献检索基准 CompLit，覆盖全部八个 arXiv 领域，并为隐性需求、累积需求、无文献可满足的未满足需求各设一个诊断场景。
正文 · AI 翻译
摘要：我们能在多大程度上信任一个智能体找到我们需要的论文？作为研究者，我们从已读的文献出发，去搜索尚未读过的文献。因此，我们用自己的语言描述需求，而论文可能只是隐含地体现这些需求；随着阅读的深入，我们的要求会不断增加；而我们寻找的内容可能位于尚无论文覆盖的空白区域。我们提出 CompLit，一个覆盖全部八个 arXiv 领域的文献搜索基准，并针对上述每种需求各设一个诊断性设置。最强的智能体 Codex（GPT-5.6-Sol）和 Claude Code（Opus 4.8）能回答 86-87% 的标准查询，但当需求为隐含时（implicit），这一比例降至 66-68%；随着需求累积（cumulative），二者分别再下降 6 和 15 个百分点；而在没有任何论文能满足的查询（unmet）上，它们最多只对 53% 的查询选择弃答。没有哪个智能体在所有领域都领先，且所有智能体在 2019 年之前或 2023 年之后的论文上准确率都更低。追踪它们的搜索过程，我们发现智能体常常能找到正确的论文，或最接近的论文，却对其判断错误。在 CompLit 上取得好成绩，是迈向可信智能体的一步——让我们能信任它们找到所需的论文，或告诉我们这样的论文并不存在。
| 主题： | 数字图书馆（cs.DL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.28658 [cs.DL] |
| （或本版本的 arXiv:2610.28658v1 [cs.DL]） | |
| https://doi.org/10.48550/arXiv.2610.28658 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Dayoon Ko [查看邮箱]
[v1]
2026 年 10 月 10 日星期六 05:37:30 UTC（5,166 KB）
来源：arXiv cs.AI · arxiv.org