约翰霍普金斯:单次事实占比越高,LLM发现率越高
热点事件持续更新
约翰霍普金斯:单次事实占比越高,LLM发现率越高
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
约翰霍普金斯大学的一篇新论文称,LLM训练数据中只出现一次的事实(monofacts)占比越高,其科学发现率越高。作者在gpt-oss-20b和gemma-3-12b-it两个模型上,分别用材料与DNA数据集微调,将monofact占比从0%调到100%,以精确还原训练中留出的材料或DNA序列作为发现评分,发现率在每个设置下都随占比上升。 但该趋势有训练轮次限制:训练3或5个epoch会把单次出现变成重复出现,此时上述趋势消失。
AI 根据报道生成 · 1 小时前更新
最新进展11月6日 06:24
Johns Hopkins 论文发现训练数据中单次出现的事实越多 LLM 科学发现率越高报道时间线
沿着报道,了解事件的不同侧面。
11月6日
- RadarAIJohns Hopkins 论文发现训练数据中单次出现的事实越多 LLM 科学发现率越高
Johns Hopkins 新论文发现,LLM 训练数据中只出现过一次的事实(monofacts)占比越高,科学发现率越高。作者在 gpt-oss-20b 和 gemma-3-12b-it 上分别用材料与 DNA 数据集微调,将 monofact 占比从 0% 调到 100%,以精确还原训练中留出的材料或 DNA 序列作为发现评分,发现率在每个设置下都随占比上升。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。