Johns Hopkins 论文发现训练数据中单次出现的事实越多 LLM 科学发现率越高

Rohan Paul· @rohanpaul_ai · X·2026-11-06 06:24· 58 分钟前AI 评分58

AI 导读

Johns Hopkins 新论文发现，LLM 训练数据中只出现过一次的事实（monofacts）占比越高，科学发现率越高。

正文 · 原文

这里有奇怪的发现。

Johns Hopkins 的新论文发现，当 LLM 训练数据中更多事实只出现一次时，它们能做出更多科学发现。

在 2 个模型系列中，随着训练中只见过一次的事实占比从 0% 升至 100%，发现率稳步上升。

发现和幻觉都意味着产出模型在训练中从未见过的东西。早期理论将幻觉与“monofacts”（恰好只见过一次的事实）联系起来，并认为那片未见过的空间大多为假。

作者扩展了该理论，表明 monofacts 也决定了模型能发现多少东西。他们在材料和 DNA 数据集上微调了 gpt-oss-20b 和 gemma-3-12b-it，将 monofact 占比从 0% 变化到 100%。

发现被定义为精确恢复训练中留出的材料或 DNA 序列，在所有设置下，发现率都随 monofact 占比稳步上升。训练 3 或 5 个 epoch 会把单次出现变成重复出现，从而使这一趋势消失。

在构建科学模型时，保留罕见的一次性示例并避免重复数据，同时要预料到更多发现会伴随更多幻觉。

来源：Rohan Paul · x.com