arXiv cs.CL· Ilker Kesen, Jenny Kunz, Kasra Malihi, Desmond Elliott·· 12 小时前AI 评分34
扩展多语言预训练：MPIXEL 像素语言模型研究
Scaling Multilingual Pretraining of Pixel Language Models
AI 导读
研究者训练了一系列 MPIXEL 像素语言模型，沿更多语言、更多文字系统和固定单语言算力下更大模型容量三个维度扩展预训练。在覆盖 83 种语言的五项任务评测中，扩展效应是局部的：各维度只提升新增语言和文字系统的表现，而增大容量可缓解多语言预训练带来的“多语言诅咒”。
正文 · AI 翻译
摘要：像素语言模型将文本作为渲染图像处理，而不是使用有限的词表，这赋予了它们强大的跨语言迁移能力。然而，关于这些能力如何受到更大规模预训练的影响，目前所知甚少。在本文中，我们沿着三个变化维度训练了一系列 MPIXEL 模型：更多语言、更多文字系统，以及在固定单语言计算量下更大的模型容量。在涵盖 83 种语言的五项任务评估中，我们发现扩展是局部起作用的：每个维度都能改善新增语言和文字系统的表现，而增加容量则缓解了因在更多语言上预训练而产生的多语言性诅咒。对未见文字系统的迁移随多语言预训练而改善，但不会随规模扩展而进一步提升。在类型学上距离较远的低资源语言上，我们的模型在许多书写系统中优于子词和字符级基线。我们还表明，更大的像素模型为视觉处理保留了更多层，并且随着语言数量的增加，跨语言对齐会减弱。总体而言，我们的发现刻画了多语言扩展如何改进像素语言模型。
| 评论： | 33 页，25 幅图，14 张表 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| MSC 分类号： | 68T50 |
| ACM 分类号： | I.2.7 |
| 引用为： | arXiv:2610.29681 [cs.CL] |
| （或 arXiv:2610.29681v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29681 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：İlker Kesen [查看电子邮件]
[v1]
2026 年 10 月 21 日星期三 12:57:41 UTC（1,248 KB）
来源：arXiv cs.CL · arxiv.org