研究比较两种语料对小模型技能的影响

Edoardo Vaira 等作者发表了一项配对研究，在 1000 万词和 3700 万词两个相同词数预算下，比较 1911 版《大英百科全书》与 BabyLM 2026 严格预训练语料对小语言模型技能的影响。研究训练了教师模型、经蒸馏的 5800 万参数 Baby-Llama 学生模型，以及无蒸馏的消融模型。 报道未给出两种语料在各项技能上的具体对比结果，因此目前只能确认研究设计与比较对象，尚不能得出哪种语料更有利于小模型技能的结论。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。