arXiv cs.AI· Avinash Benki, Prasanjith Pasunuti, Sutanshu Saksena Raj, Parijat Chatterjee, Nayanjit Sarkar, Daksh Maan·· 3 天前AI 评分22
Nemotron-3-Nano-30B-A3B 的原地 Indic 分词器扩展与持续预训练
In-Place Indic Tokenizer Expansion and Continual Pretraining of Nemotron-3-Nano-30B-A3B
AI 导读
研究团队在不改动 Nemotron-3-Nano-30B-A3B 主干架构的前提下，将其词表从 131,072 原地扩展至 163,072，使每词 token 数减少 38.6%，并完成约 1.27 万亿 token 的持续预训练。
正文 · AI 翻译
摘要：我们在不改变主干架构的情况下，将 Nemotron-3-Nano-30B-A3B 适配到八种印度语言。我们通过持续字节对编码和 AdaptMix 重平衡，将词表原地从 131,072 扩展到 163,072 个条目，使每词 token 数减少了 38.6%。我们通过对其原始组成行取平均来初始化新的输入和输出行，然后在更新主干之前，用 90% 印度语言和 10% 英文文本对它们进行训练。随后，持续预训练经历了广泛训练、高质量退火和长上下文训练，总计约 1.27 万亿 token。退火后的检查点在 Indic MILU 基准上提升了 12.9 分，但在英文 MMLU 上下降了 3.4 分。我们还报告了实际中的负面结果。直接添加 token 的表现不如持续字节对编码。AdamW 权重衰减改变了本应保持固定的行。在印度语言占比较高的留出集上的困惑度，未能选出最能保持英文性能的学习率。
| 评论： | 被 GlobalSouthAI Workshop, NeurIPS 2026 接收 |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.15373 [cs.CL] |
| （或 arXiv:2610.15373v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.15373 arXiv 颁发的 DOI，通过 DataCite（待注册） |
提交历史
来自：Sutanshu Saksena Raj [查看电子邮件]
[v1]
2026年10月11日星期日 05:53:00 UTC（1,325 KB）
来源：arXiv cs.AI · arxiv.org