MPIXEL 多语言像素模型扩展评测

Ilker Kesen 等作者训练了一系列 MPIXEL 像素语言模型，沿三个维度扩展预训练：增加语言数量、增加文字系统、在固定单语言算力下增大模型容量。 在覆盖 83 种语言的五项任务评测中，扩展效应是局部的：增加语言和文字系统只提升新增语言和文字系统的表现，而增大模型容量可缓解多语言预训练带来的“多语言诅咒”。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。