arXiv cs.CL· Hafsteinn Einarsson·· 11 小时前AI 评分22
超越 IceBERT：面向冰岛语的开放数据 ModernBERT 编码器，覆盖 12M 到 1B 参数
Beyond IceBERT: Open-Data ModernBERT Encoders for Icelandic from 12M to 1B Parameters
AI 导读
研究团队用 ModernBERT 架构在 9B token 开放数据上训练了 12M 到 1B 参数的冰岛语编码器，其中 1B 从零训练模型在全部 11 项任务上显著优于 IceBERT。
正文 · AI 翻译
摘要：冰岛语参考编码器 IceBERT 发现，经过清洗的网络抓取数据足以训练出强大的模型，并且从多语言模型出发可以在某些任务上有所帮助。我们使用 ModernBERT 架构重新审视了这两项发现。我们在 90 亿 token 的开放数据上训练了从 1200 万到 10 亿参数的冰岛语编码器，并在统一协议下为 30 个编码器重新运行了 IceBERT 的基准测试和五项较新的任务，并给出了置信区间。我们从头训练的 10 亿参数模型（据我们所知，这是该规模的首个单语冰岛语编码器）在全部十一项任务上都显著优于 IceBERT；从相同规模的英语 Ettin 编码器热启动后，它在我们排名的每项任务上都取得了所有编码器中的最佳分数。由于我们的模型规模与英语 Ettin 编码器和多语言 mmBERT 相匹配，我们还可以在受控条件下测试热启动，涵盖六种模型规模和四种 token 预算。在移植我们的词表后，热启动在相同冰岛语文本上从未显著差于从头训练，并且从 base 规模起，在四项任务上，它并不显著差于在 4 倍文本上从头训练（在 base 和 1B 规模上为 8 倍）。随着模型增大，大部分迁移来自源模型的 transformer 层，因此即使是英语源也有帮助。保留源词表在问答任务上损失了 5 个 F1，并且计算量几乎达到三倍。
| 评论： | 20 页，1 张图，11 张表。模型：此 https URL |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2610.36230 [cs.CL] |
| （或 arXiv:2610.36230v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.36230 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Hafsteinn Einarsson [查看电子邮件]
[v1]
2026 年 10 月 26 日星期一 20:09:10 UTC（81 KB）
来源：arXiv cs.CL · arxiv.org