arXiv cs.CL· Chen Hu, Yintao Tai, Antonio Vergari, Frank Keller, Alessandro Suglia·· 2 天前AI 评分26
MIXAR：将自回归像素级语言模型扩展至多语言与多文字系统
MIXAR: Scaling Autoregressive Pixel-based Language Models to Multiple Languages and Scripts
AI 导读
MIXAR 是首个生成式多语言像素级语言模型，在八种高资源语言（覆盖拉丁与 CJK 文字）上预训练，参数规模扩展至 0.5B。它用基于 GRPO 的强化学习阶段替代此前像素模型不稳定的对抗训练，在多语言基准上把自由生成准确率最高提升 2.3 倍，并在判别式基准上与同类 tokenizer 模型持平。
正文 · AI 翻译
摘要：基于像素的语言模型作为传统基于词元方法的替代方案正日益受到关注，有望规避分词难题；然而，现有模型仍以英语为中心，且难以作为生成器进行训练。本文提出 MIXAR，这是首个生成式多语言像素语言模型，在涵盖拉丁字母和 CJK 文字的八种高资源语言上预训练，参数规模扩展至 0.5B。尽管仅在资源丰富的语言上预训练，MIXAR 在未见过的低资源语言上的泛化能力优于在同一语料上预训练的基于分词器的模型，且在与预训练混合语言差异最大的文字上增益最大，朝着更公平的语言技术迈出了一步。为使自由生成在像素空间中可行，MIXAR 用基于 GRPO 的强化学习阶段取代了先前基于像素模型中以不稳定著称的对抗训练阶段，该阶段根据模型自身的自由运行生成给予奖励：事实证明它更稳定，并在多语言基准上将自由生成准确率提升至多 2.3 倍。最后，MIXAR 在判别式基准上与同类基于分词器的模型表现相当，随规模扩展持续提升，并且比基于分词器的模型更能从容应对正字法攻击。代码和模型可在 此 https URL 获取。
| 评论： | 29 页。代码和模型：此 https URL |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2604.11575 [cs.CL] |
| （或 arXiv:2604.11575v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2604.11575 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yintao Tai [查看邮箱]
[v1]
2026 年 4 月 13 日星期一 14:53:19 UTC（3,930 KB）
[v2]
2026 年 10 月 15 日星期四 17:46:36 UTC（3,535 KB）
来源：arXiv cs.CL · arxiv.org