研究将 LLM 的科学发现能力追溯到其训练数据

Tracing the Scientific Discovery Capacity of LLMs to Their Training Data

AI 导读

一项研究提出用"缺失概率质量"框架解释 LLM 的科学发现能力，认为训练中仅出现一次的"单次事实"（monofact）决定发现能力。在材料科学与调控基因组学中直接操纵训练集单次事实比例后，两个开源权重模型族、多种采样策略与推理预算下均表现为单次事实越多发现越多。该关系无法仅用训练集多样性解释，且配合领域内数据时可跨科学领域迁移。

正文 · AI 翻译

查看 PDF HTML（实验性）

摘要：大型语言模型（LLM）在科学发现方面展现出日益增长的潜力，但关于是什么使其能够实现可靠发现的基本问题仍然存在。我们如何将 LLM 的科学发现能力追溯到其训练数据？我们将此问题作为缺失概率质量的问题来研究，并构建了一个理论解释，其中“单次事实”（monofacts）——即在训练集中仅出现一次的事实——决定了发现能力。在材料科学和调控基因组学中，我们直接操纵训练集中的单次事实率，发现更多的单次事实在两个开放权重模型家族、采样策略和推理预算下都能持续带来更多发现。进一步的实验表明，这种关系不能仅用训练集多样性来解释，并且在与领域内数据配对时可以在科学领域之间迁移。总之，我们的结果将训练数据中的单次事实率确定为支配语言模型发现的关键因素。

主题：	计算与语言（cs.CL）；人工智能（cs.AI）
引用为：	arXiv:2611.03617 [cs.CL]
	（或 arXiv:2611.03617v1 [cs.CL] 为此版本）
	https://doi.org/10.48550/arXiv.2611.03617 由 DataCite 颁发的 arXiv DOI（待注册）

提交历史

来自：Arda Uzunoglu [查看电子邮件]
[v1] 2026年11月2日星期一 18:50:54 UTC（271 KB）

来源：arXiv cs.CL · arxiv.org