arXiv cs.CL· Shin Yamaguchi, Masaya Taniguchi, Tatsuki Kuribayashi, Taro Watanabe, Yoshinobu Kano·· 12 小时前AI 评分24
语言模型能跨语言迁移层级泛化能力吗？EMNLP 2026 研究给出条件性答案
Once a Tree, Always a Tree? Cross-lingual Transfer of Hierarchical Generalization in Language Models
AI 导读
研究提出跨语言贫困刺激（CPOS）实验设计，检验语言模型能否将源语言（L1）中的层级结构证据迁移到新语言（L2）。结果显示模型只能部分迁移，仅产生微弱但可检测的层级偏好，且迁移强度因语言对而异。进一步消融发现词汇重叠对层级句法泛化的跨语言迁移至关重要，说明这种迁移只是有条件成立。
正文 · AI 翻译
摘要：语言模型（LM）通过持续（预）训练往往表现出成功的跨语言迁移，但其内在过程仍不清楚。一种可能是，语言模型能够利用来自源语言（L1）的证据，将其导向语言普遍性原则，即层级结构，并迁移到新语言（L2），而许多其他非语言学解释，例如位置嵌入的改进初始化，也可能成立。在本研究中，为了量化跨语言语言模型训练中语言学证据的跨语言可迁移性，我们引入了一种新的实验设计，即跨语言刺激贫乏（CPOS）设置，该设置消融了语言模型在 L2 中的层级泛化如何由 L1 中提供的结构证据所引导。我们对比了反事实的 L1 和 L2 学习场景，其中 L2 语料在线性与层级语法规则之间具有歧义，而层级规则的正例证据量在 L1 侧受到控制。我们的实验结果表明，语言模型能够部分但并非完美地将 L1 结构证据迁移到 L2，仅产生较小但可检测的层级偏置，而迁移强度取决于语言对。受近期关于词汇重叠重大影响的报告启发，我们进一步消融了成功迁移的条件。我们确实发现，词汇重叠甚至对层级句法泛化的跨语言迁移也至关重要。这表明，这也解释了主实验中依赖语言对的倾向，并表明在持续的新语言学习中，语言学证据的迁移只能有条件地实现。
| 评论： | EMNLP 2026 主会 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.30960 [cs.CL] |
| （或 arXiv:2610.30960v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.30960 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Shin Yamaguchi [查看电子邮件]
[v1]
2026年10月22日星期四 09:07:44 UTC（742 KB）
来源：arXiv cs.CL · arxiv.org