arXiv cs.CL· Forough Shirin Abkenar, Haoshuo Fu, Liang Feng, Ning Yan, Masood S. Mortazavi·· 3 天前AI 评分25
研究追踪 LLM 语言习得中的形态、语义与分歧
Tracing Morphology, Semantics, and Divergence in Language Acquisition
AI 导读
研究利用 Pythia 和 OLMo 的中间检查点，在 teacher-forcing 评估下追踪 LLM 跨训练步与模型规模的语言习得过程。结果显示模型习得形态结构远早于语义嵌入稳定，训练数据集规模对分歧识别有正向影响，而预训练中的共现与推理时的重复则产生负面影响。
正文 · AI 翻译
摘要：理解大型语言模型（LLM）中语言习得的动态过程，对于揭示统计表征如何演变为结构化的语言能力至关重要。然而，现有研究大多聚焦于完全训练后的模型，对中间训练阶段的发展轨迹仍缺乏充分探索。在本工作中，我们利用开源模型（如 Pythia 和 OLMo）在教师强制评估下的中间检查点，系统性地研究语言习得在训练步骤和模型规模上的变化。我们聚焦四个核心特征：形态结构习得、嵌入漂移、重复主导和共现效应。我们的发现表明，模型在语义嵌入稳定之前就已很好地习得形态结构。此外，我们表明训练数据集规模对分歧识别有正向影响，而预训练期间的共现和推理期间的重复对分歧识别和关联链接生成有负向影响。
| 学科： | 机器学习（cs.LG）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.19041 [cs.LG] |
| （或 arXiv:2610.19041v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.19041 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Forough Shirin Abkenar [查看电子邮件]
[v1]
2026年10月13日星期二 18:29:52 UTC（21,804 KB）
来源：arXiv cs.CL · arxiv.org