arXiv cs.AI· Abdullah Al Kalbani, David M. Schultz, Alexandra K. Anderson-Frey, Zhonghua Zheng, Catherine McGuire·· 10 小时前AI 评分38
大语言模型能胜任科学文献综述吗？一项基于 102 篇论文基准的测试
Can Large Language Models Review the Scientific Literature? A Test Against a 102-Article Benchmark
AI 导读
一项以西班牙羽流天气模式综述及其 102 篇论文语料为基准的测试显示，六个 AI 工具在检索、解读、综合与提出未来研究方向四个环节均无法全面胜任。初始检索中五个工具合计找到 57 篇文献，最佳单个工具找到 42 篇；机构图书馆权限使 Codex 的发现量从 42 篇升至 82 篇，Claude Code 从 15 篇升至 79 篇。
正文 · AI 翻译
摘要：大型语言模型（LLM）越来越多地被用于支持科学文献综述，但评估往往考察单个任务，而非整个综述过程。我们评估了六款 AI 工具在四个阶段的表现：查找相关文章、解读文章、跨文章综合，以及提出未来研究方向。基准是一篇已发表的关于西班牙羽流天气模式的综述及其 102 篇文章语料库。
在初始检索中，五款工具共识别出 57 篇文章，表现最好的单款工具找到 42 篇。机构图书馆访问权限使 Codex 的发现量从 42 篇增加到 82 篇，使 Claude Code 从 15 篇增加到 79 篇。在给定完整的 102 篇 PDF 语料库的情况下，三款工具正确识别出全部 18 篇实质性讨论西班牙羽流的文章，但将 84 篇顺带提及中的 40% 至 79% 错误归类为实质性讨论。这三款工具生成的综合内容由两位领域专家进行了盲评。尽管大体准确，这些综合内容提供的洞见有限，有时包含无依据的论断、引文错误和夸大的共识表述。最后，三款工具提出的研究方向都比西班牙羽流文献更宽泛，不过其中两款接近基准综述中提出的问题。
没有哪一款工具在所有任务上表现最佳。我们为在文献综述中使用 AI 工具的研究者提供了八条建议。我们的发现表明，LLM 可以协助发现和解读科学文献，尤其是在有机构访问权限的情况下，但无法在评估证据或综合研究方面取代专家判断。
| 评论： | 34 页，7 幅图，6 张表。数据、提示词、分析脚本和结果：此 https URL（GitHub：此 https URL） |
| 主题： | 人工智能（cs.AI）；数字图书馆（cs.DL） |
| MSC 分类： | 68T50, 68P20, 68T07 |
| 引用为： | arXiv:2611.05459 [cs.AI] |
| （或 arXiv:2611.05459v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.05459 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Abdullah Al Kalbani [查看电子邮件]
[v1]
2026 年 11 月 3 日星期二 18:57:20 UTC（811 KB）
来源：arXiv cs.AI · arxiv.org