arXiv cs.CL· Edoardo Vaira, Georgios Chavales, Pierre Nugues·· 11 小时前AI 评分31
不同语料，不同技能？小语言模型的配对研究
Different Corpora, Different Skills? A Paired Study of Small Language Models
AI 导读
研究在 1000 万和 3700 万词预算下对比 1911 版《大英百科全书》与 BabyLM 2026 严格预训练语料，训练教师模型、蒸馏的 5800 万参数 Baby-Llama 学生模型及无蒸馏消融模型。
正文 · AI 翻译
摘要：小型语言模型通常在紧张的数据预算下训练，此时预训练语料的选择可能与模型规模或训练配方同样重要。我们在匹配的 1000 万词和 3700 万词预算下比较了两个对比鲜明的语料库：1911 年版《大英百科全书》和 BabyLM 2026 严格预训练语料库。对于每个语料库，我们训练教师模型、蒸馏得到的 5800 万参数 Baby-Llama 学生模型，以及无蒸馏的学生消融模型，并在各语料库间使用相同的模型家族、训练配方和评估协议。在 BLiMP、BLiMP Supplement、EWoK、Entity Tracking 和 COMPS 上，这些语料库产生的是不同的技能画像，而非单一的质量排名。BabyLM 2026 在语言可接受性基准上始终更强，而 Britannica 在 Entity Tracking（一项合成状态跟踪任务）上往往更强。这种对比在教师模型和学生模型上、以及在两种预算下都出现，其中在蒸馏学生比较中跨种子复现最为干净。针对性控制实验表明，在匹配训练曝光量和更长诊断上下文后，核心对比依然存在；直接教师集成也无法复现 1000 万词 Britannica 学生模型的 Entity Tracking 行为。不过，Entity Tracking 的幅度仍对训练动态敏感。因此，对于这对语料库，语料选择可以在小规模下产生不同的相对技能画像，这促使在比较预训练数据时进行多基准评估。
| 评论： | 发表于第二届 BabyLM 研讨会论文集（EMNLP 2026）。13 页 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.07812 [cs.CL] |
| （或 arXiv:2611.07812v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.07812 由 DataCite 颁发的 arXiv DOI（待注册） |
|
| 期刊 参考： | 第二届 BabyLM 研讨会论文集，第 413-425 页，匈牙利布达佩斯，2026 年 |
| 相关 DOI： | https://doi.org/10.18653/2026.babylm-main.33
链接到相关资源的 DOI |
提交历史
来自：Edoardo Vaira [查看电子邮件]
[v1]
2026 年 11 月 5 日星期四 10:50:54 UTC（66 KB）
来源：arXiv cs.CL · arxiv.org