arXiv cs.CL· Ionut Adrian Rotaru·· 6 天前AI 评分22
Neurograf v1：端到端罗马尼亚语优先语言模型家族
Neurograf v1: An End-to-End Romanian-First Language Model Family
AI 导读
Neurograf v1 是一套端到端罗马尼亚语优先语言模型流水线，包含 635 GB 的 RoSfera 语料（1.757 亿篇文档）、80k byte-level BPE tokenizer、160M 至 6B 五个 decoder-only 模型（训练 131B tokens）、三个指令微调助手和两个对比学习嵌入模型。
正文 · AI 翻译
摘要：我们提出 Neurograf v1，一个实验性的端到端罗马尼亚语优先语言模型流水线，旨在研究从零开始为低资源欧洲语言训练语言模型的可行性。该流水线包括 RoSfera，一个包含 1.757 亿份文档的 635 GB 罗马尼亚语语料库；一个 80k 字节级 BPE 分词器；五个仅解码器模型，参数规模从 160M 到 6B，在 1310 亿个 token 上训练；三个指令微调助手；以及两个对比训练嵌入模型。训练和评估使用 ELI-NP/IFIN-HH 的计算基础设施进行。
该模型系列表现出验证损失的一致缩放，并且随着模型规模增大，罗马尼亚语事实和文化知识不断增加。在 1,000 题的 WWTBM 基准上，Neurograf-6B 在罗马尼亚语语境问题上达到 69.89% 的准确率，而 Neurograf-3.2B 达到 67.38%。计算最优分析得出的参数缩放指数约为 0.423。
Neurograf v1 是实验性演示器，而非生产系统。该研究指出了涉及变音符号保留、语料质量、数据组成和分词效率的实际挑战，同时展示了在统一训练流水线中开发罗马尼亚语优先基础模型、指令遵循助手和语义嵌入模型的可行性。
| 主题： | 计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.13134 [cs.CL] |
| （或 arXiv:2610.13134v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13134 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Ionut Adrian Rotaru [查看电子邮件]
[v1]
2026年10月9日星期五 07:28:03 UTC（3,912 KB）
来源：arXiv cs.CL · arxiv.org