arXiv cs.CL· Steven Y. Feng, Michael C. Frank·· 11 小时前AI 评分31
儿童规模语言模型中的专业化、多样性与扩展性研究
Specialization, Diversity, and Scaling in Child-Scale Language Models
AI 导读
研究用 BabyView 家庭录音和 TinyDialogues 合成对话训练小型 GPT-2 模型，发现仅在单个儿童语言环境上训练的模型对该环境的预测显著优于其他儿童环境，且这种专业化主要是词汇和分布层面的，简单 5-gram 模型即可复现跨儿童模式（r=.91）。
正文 · AI 翻译
摘要：现代语言模型训练所用的语言量远超儿童所接触的语言量，但我们对从小型、自然主义数据集进行学习了解得少得多。我们在来自密集家庭录音（BabyView）的儿童言语转录文本上，以及在合成的儿童导向对话（TinyDialogues）上训练小型 GPT-2 模型，并改变训练数据的数量、来源和多样性。在一个儿童的语言环境上训练的模型，对该环境的预测显著优于对其他儿童环境的预测。这种专门化在很大程度上是词汇和分布层面的：一个简单的 5-gram 模型即可复现跨儿童的规律（r=.91）。与在单个儿童的输入上训练相比，在多个儿童的数据上训练明显提升了对合并留出语言的预测，但在语法基准上没有同样明显的提升。在不同数据规模下，自然主义与合成训练输入也产生了不同的语法和词汇语义模式，且各语法现象之间存在重要差异。总之，这些结果表明，小数据语言学习不仅取决于模型看到多少语言，还取决于这些语言来自哪些环境，以及该输入与要求模型预测的内容匹配得有多好。
| 评论： | 代码和数据见 此 https URL |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.36679 [cs.CL] |
| （或 arXiv:2610.36679v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.36679 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Steven Y. Feng [查看邮箱]
[v1]
2026年10月27日星期二 05:48:01 UTC（838 KB）
来源：arXiv cs.CL · arxiv.org