arXiv cs.CL· Yuliang Liu, Xinyu Wang, Xiang Bai·· 10 小时前AI 评分38
研究发现：让未见语言进入共享语义空间的是熟悉的字母而非亲属语言
Familiar letters, not related languages, let unseen languages into a shared space of meaning
AI 导读
无分词器的视觉 Transformer GlyphMind 将文本作为像素读取，在 27 种书写系统上预训练对齐译文后，仅用未翻译的老挝语适配，检索英文译文的频率达到最强简单基线的七倍。
正文 · AI 翻译
摘要：数百种语言有书面文本，但几乎没有译文，而模型能否从无译文文本中学习一种语言，是建立在相关语言还是熟悉的字母之上，目前尚不清楚：二者通常同时出现。本文表明，是熟悉的字母而非相关语言，让一种未见过的语言进入共享的意义空间。GlyphMind 是一种无分词器的视觉 Transformer，它将文本作为像素读取，并能让任何句子以任何文字呈现，它经过预训练，以在 27 种书写系统之间对齐译文。在无译文的寮语（一种它从未见过的语言和文字）上微调后，它检索到英文译文的频率是最强简单基线的七倍。用不熟悉的字母重写后，寮语未能进入，尽管其近亲泰语在预训练中；桑塔利语则完全没有，它以天城文（因印地语而熟悉）进入，但以其自身文字则未能进入。因此，转写为熟悉的文字可能使多语言模型向没有译文的语言开放。
| 学科： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2611.06006 [cs.CL] |
| （或 arXiv:2611.06006v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.06006 arXiv 发布的 DOI 通过 DataCite（待注册） |
提交历史
来自：Yuliang Liu [查看电子邮件]
[v1]
2026年11月4日星期三 05:54:23 UTC（2,207 KB）
来源：arXiv cs.CL · arxiv.org