研究：大语言模型能拓展已有研究，但无法开辟新研究方向

查看 PDF HTML（实验性）

摘要：自主研究系统的成功取决于其生成科学假设的质量。近期研究报告称，人类评审者往往认为 LLM 生成的想法比人类专家的想法更新颖，这引发了 AI 能够加速科学发现的希望。然而，这些模型能否超越现有知识的延伸尚不清楚。LLM 能否通过揭示新的研究方向来推动真正的创新，还是仅限于重复和重组科学已知的内容？这个未解决的问题是有关 AI 与科学未来的讨论的核心。为解决这一问题，我们区分了两种新颖性：距离，衡量假设与现有工作的差距；方向，捕捉假设是否追求超越已有研究的新探究路线。这两项指标对于 LLM 生成的工作存在显著差异。我们使用预训练的科学论文嵌入模型将科学论文表示在共享的概念空间中。在该空间内，我们嵌入了六个自然科学领域、1,325 个研究主题的 2690 万篇人类撰写的论文，以及来自八个模型的 524,308 个 LLM 生成的假设。距离使用现有指标衡量。为量化方向，我们引入了正交新颖性分数（ONS）。LLM 生成的想法始终比人类撰写的论文更远离现有工作，当给 LLM 提供距离主题中心最远的论文时，差距可达 16\%。然而，LLM 假设的中位 ONS 比同一主题的已发表论文低 15--23\%。因此，LLM 远离已知内容更远，但仍停留在既有方向之内。这一模式在各种配置变化下持续存在。因此，LLM 擅长拓展前沿，但新方向的创造仍由人类科学家引领。

提交历史

来自：Zhihua Liu [查看电子邮件]
[v1] 2026年10月12日星期一 21:57:24 UTC（418 KB）