arXiv cs.CL· Zhipin Wang, Koel Dutta Chowdhury, Christoph Leiter, Steffen Eger·· 10 小时前AI 评分31
检索文献如何影响 LLM 生成科研想法：五种检索策略对比研究
Tracing the Influence of Retrieved Literature on Scientific Ideation in LLMs
AI 导读
研究对比五种文献检索策略与无文献基线，在 15 个机器学习主题、十个开放权重模型上生成 45,000 个想法。相比无文献基线，五种检索策略使同一批论文生成想法的多样性下降 5.6%–17.9%，但混合不同论文集时多数策略使多样性提升 10.2%–18.1%。
正文 · AI 翻译
摘要：大型语言模型（LLM）正越来越多地被用于从科学文献中生成研究想法。现有系统将文献检索与搜索、生成和精炼相结合，使得难以确定检索策略本身如何影响所生成的想法。我们通过在共享生成协议下比较五种检索策略和一个无文献基线来分离这一贡献，使用了涵盖 15 个机器学习主题和十个开放权重模型的 45,000 个想法。相对于无文献基线，所有五种检索策略使从同一组论文生成的想法之间的多样性降低了 $5.6\%$--$17.9\%$，而当来自不同论文组的想法被汇集时，大多数策略使多样性提高了 $10.2\%$--$18.1\%$。对想法质量和新颖性的影响平均而言不大，但因主题而异。我们进一步应用基于 JSD 的归因方法来追踪单个输入论文对每个想法的动机、核心思想、方法和验证的影响。在 $79.3\%$ 的想法中，只有一到两篇不同的论文在这四个部分中获得最高的归因分数。这些主要来源常常在从同一组论文生成的想法中反复出现，而来源归因更多样的组包含更多样化的想法（$r=0.70$）。这些发现支持使用不同的文献集合，并利用归因来指导后续想法的来源选择。
| 评论： | 更新后的预印本。正在审稿中 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.39060 [cs.CL] |
| （或 arXiv:2610.39060v2 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2610.39060 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Zhipin Wang [查看电子邮件]
[v1]
2026年10月28日星期三 23:45:23 UTC（1,041 KB）
[v2]
2026年10月30日星期五 17:56:18 UTC（1,041 KB）
来源：arXiv cs.CL · arxiv.org