NVIDIA 与 AI4Bharat 开源 2.8 万亿 token 的 Indic 预训练语料及数据生成管线

Hugging Face 社区博客·2026-10-16 09:44· 2 小时前AI 评分49

扩展 Indic 预训练：2.8 万亿 token 与开放数据生成流水线

AI 导读

NVIDIA 联合 IIT Madras 的 AI4Bharat 发布 Nemotron-pretraining-Indic-v1，约 2.8 万亿 token，覆盖印度宪法列出的 22 种语言，含 2601.0 亿原生文字 token 和 224.6 亿罗马化 token（按 Gemma-4 tokenizer 计）。

正文

面向 22 种语言的原生文字数据、面向十二种语言的罗马化数据，以及一条可复用的 GPU 加速流水线，用于翻译、质量评估与修复。

作者：AI4Bharat — Mohammed Safi Ur Rahman Khan、Mitesh Khapra、Anoop Kunchukuttan。NVIDIA — Niket Agarwal、Raviraj Joshi、Anusha Kamath、Markus Kliegl、Yev Meyer、Sriharsha Niverty、Kiran Praveen、Utkarsh Vaidya。

我们很高兴推出 Nemotron-pretraining-Indic-v1，约 2.8 万亿 token，覆盖 22 种印度语言，并将很快与用于创建它的开放、GPU 加速的数据生成流水线一同发布。这些是印度宪法列出的 22 种语言：它们是 97% 印度人的第一语言，按 2011 年人口普查计，涉及近 12 亿公民。该成果由 NVIDIA 与印度顶尖工程学院 IIT Madras 及其 AI4Bharat 实验室共同开发，为模型构建者提供了用于 Indic 预训练的重要新资源。该流水线完整记录了生成配方，包括提示词、LLM 工作流和质量检查，因此开发者可以将其适配到自己的源材料上，并按需生成更多数据。

AI4Bharat 是 IIT Madras 的印度语言研究实验室，为印度语言构建开源数据集和模型。其资源，例如 Sangraha——一个面向 22 种印度语言的开放预训练语料库——为开放的 Indic 语言模型研究奠定了基础。我们联合开源的这次发布，代表着社区可用的开放合成 Indic 训练数据的一次大幅扩展。它将精选的英文材料——包括数学、代码和问答内容——广泛引入印度语言，为团队提供更多训练材料，以构建能够用这些语言解释技术概念、推演问题并回答问题的模型。每条记录都可追溯到一份精选源文档，且每个输出都会与其输入进行核对，因此合成文本始终基于真实信息。

AI4Bharat 负责人、入选 2025 TIME100 AI 榜单的 Mitesh Khapra 指出了核心问题：印度语言技术落后于英语，是因为“我们没有足够的印度语言数据。”我们正以更多数据以及一套可生成更多数据的开放配方来回应这一呼吁。

该语料库还考虑了人们的书写方式。它包含全部 22 种语言的原生文字数据，以及十二种语言的罗马化文本，覆盖 34 种语言-文字配置。我们的工作流结合了文档级翻译、质量评估和针对性修复，并通过检查来保留公式、表格和代码等内容。这些数据补充了自然撰写的 Indic 文本，而后者对于本地知识和文化语境仍然至关重要。

我们公开了开放生成配方，让社区不仅能复现这些数据，还能在此基础上进一步推进这项工作。团队可以直接使用该语料库，调整提示词和质量检查，或将自有源文档接入该工作流。通过同时开放数据和流程，我们旨在让大规模印度语言数据生成更易获取，并让更多开发者能够为打造更强大的印度语言模型做出贡献。

对Nemotron 3.5 Super VL的持续预训练新增了100亿印度语言token，取自该语料库的十二种语言子集以及自然印度语言文本。我们关于该模型的技术报告涵盖了完整过程。我们计划在未来的Nemotron模型中基于该语料库继续构建。

语料库中包含什么？

图1。该语料库包含2,601.0亿个原生文字token和224.6亿个罗马化token。计数使用Gemma-4分词器。文档记录包含共享来源的译文和文字变体；它们并非唯一英文文档的计数。

该语料库有两组语言配置：

• 原生文字和罗马化数据：孟加拉语、古吉拉特语、印地语、卡纳达语、马拉雅拉姆语、马拉地语、尼泊尔语、奥里亚语、旁遮普语、泰米尔语、泰卢固语和乌尔都语。
• 原生文字数据：阿萨姆语、博多语、多格拉语、克什米尔语、孔卡尼语、迈蒂利语、曼尼普尔语、梵语、桑塔利语和信德语。

在此，原生文字描述的是书写系统：文本仍是从英文翻译而来。罗马化指用拉丁字母书写的印度语言文本，而非英文翻译。对于这十二种双文字语言中的每一种，罗马化仅覆盖已接受的原生文字译文的一个子集。

在构建训练混合数据时，这一区分很重要。原生文字和罗马化记录提供不同的文字暴露，但可以表达相同的底层内容。这些token计数描述的是保留的语料库，包括已接受的改写，而非某次训练运行的token预算。计数还取决于所使用的分词器，因此语料库清单和训练token计数应分开解读。

从英文源文档到印度语言训练数据

为构建该语料库，我们从15个Nemotron-CC-v2子集的文档入手，涵盖网页文本、问答材料、数学、代码及其他专业内容。我们使用NeMo Data Designer——NVIDIA用于生成合成数据的开源框架——来执行翻译、质量检查和针对性修复。在整个工作流中，我们保留每个来源标识符，以便开发者能够将输出追溯回其原始文档。这种清晰的溯源正是开放数据便于审计和在此基础上构建的原因之一。图2展示了十二种语言的工作流。

图2。针对十二种语言的四阶段印度语言合成数据流水线，使用NeMo Data Designer和Gemma-4-31B-it实现。我们翻译英文文档、评估翻译质量、修复低分输出，并将一部分已接受的译文转换为拉丁字母。另外十种语言使用下文所述的单独Indic Translate工作流。

十二种语言工作流

对于这十二种语言，我们翻译完整文档，以便模型能够利用跨段落、表格和公式的上下文。我们通过在完整文档上比较模型，检查翻译质量和技术内容的保留情况，选择了 Gemma-4-31B-it。我们的提示词区分了需要翻译的正文和需要保留的内容，包括代码、公式、URL 和格式。

翻译完成后，我们使用同一模型根据英文原文评估每个输出。一个受 Multidimensional Quality Metrics（MQM）启发的评分标准涵盖了含义、流畅度、术语、风格和格式，MQM 是一个按类型和严重程度对翻译错误进行分类的开放框架。我们只保留得分至少为 100 分中 75 分的输出（这是评分标准得分，不是准确率百分比）。对于得分较低的输出，我们使用评估反馈来指导修复，然后按照相同的阈值重新评估。这一过程恢复了 4384 亿个 token 的母语文字和罗马化数据，已计入语料库总量。抽样人工审核和故意引入错误的测试帮助识别了遗漏和残留英文，为改进我们的提示词和检查提供了依据。

被接受的母语文字翻译也为罗马化数据提供了起点。我们将一部分转换为拉丁字母，并将每个结果与其母语文字输入进行核对。这将翻译与文字转换分开。在我们最初的人工比较中，这种两步方法比直接从英文生成罗马化文本产生了更少的幻觉添加和更少的残留英文。

十语言工作流程

对于其他十种语言，我们调整了工作流程，以解决在比较中观察到的长文档质量和文字稳定性问题。我们使用 Indic Translate 进行翻译，这是一个面向英文和 22 种印度语言的文档级翻译模型，来自 Bodhan AI，一个孵化于 IIT Madras 的 AI 教育非营利中心。然后 Gemma-4-31B-it 根据英文原文评估每个翻译。对于八种语言，我们保留整篇文档的方法。对于较长的 Santali 文档，我们翻译重叠窗口并重建文档；对于 Manipuri，我们先翻译成孟加拉文，再转换为 Meitei Mayek，即其母语文字。这些工作流程保留得分至少为 100 分中 75 分的输出，并且只生成母语文字数据，不进行基于反馈的重写。

Indic 持续预训练后发生了什么变化？

Nemotron 3.5 Super VL 技术报告比较了 Indic 持续预训练（CPT）之前的检查点和该阶段之后的检查点。配置的预算为 1000 亿个训练 token，其中 10%（100 亿个 token）分配给合成和自然 Indic 文本的混合。其余 90% 保持了先前训练混合的相对比例。

在全部五个报告的 Indic 知识和推理基准上，得分均有所提高：MILU、Indic MMLU-Pro、Indic ARC-Challenge、Indic ARC-Easy 和 Indic GSM8K。

图 3. Nemotron 3.5 Super VL 在 Indic CPT 阶段前后的对比。提升幅度为 4.98 至 9.82 个百分点。该对比报告的是在一个结合了合成与自然 Indic 数据的训练阶段中的变化，而非单独分离出合成语料的贡献。各基准测试的语言覆盖范围不同；这些是阶段级检查点，而非最终模型版本的对比。

来源：Nemotron 3.5 Super VL 技术报告，表 2。GSM8K 排除了 Odia，因为评估超出了服务上下文限制。

这些提升支持了合成与自然 Indic 数据相结合的 CPT 配方，同时将其他模型和语言的混合选择留待进一步研究。

配套的 Indic 报告使用十二种语言组的首轮通过数据，考察了来源混合、合成数据池规模和文字覆盖范围。评估完整语料（包括恢复的重写内容和其他十种语言）仍是这些受控研究的下一步工作。

Nemotron 3.5 Super VL 中更广泛的 Indic 能力

除了 CPT 阶段的结果之外，发布的模型与上一代相比表现如何？图 4 在 Indic 任务性能和语言质量方面将 Nemotron 3.5 Super VL 与 Nemotron 3 Super 进行了对比。这些结果反映了发布模型的完整训练流程，包括 Indic CPT 和后训练。

Nemotron 3.5 Super VL 在所示六项任务基准中的五项上得分更高，涵盖知识、推理、数学、代码和翻译。在 IFEval 1.5 上的指令遵循下降了 2.04 个百分点。它还在 IndiVibe 的全部四个维度上有所提升：有用性、流畅度、语言与文字保真度，以及适当的详细程度。IndiVibe 是 Sarvam AI 的开放基准，用于评估印度语言中的助手式提示。这些评估共同考察了模型能做什么，以及在印度语言中沟通得如何。

图 4. 跨 Nemotron Super 各代的 Indic 任务性能和语言质量。左：六项任务基准。右：初步的 IndiVibe 条件偏好得分，并非直接的头对头胜率。标签显示的是百分点变化，WMT24++ 除外，其使用 chrF 分数。基准和评估详情请参见配套的 Indic 技术报告。

开始构建

加载语料

从你的模型所需的语言和文字开始，检查样本，并在训练前查看数据集卡片和许可证。配置使用语言、文字和地区标签：例如，hi-Deva-IN 表示天城文印地语，而 hi-Latn-IN 表示罗马化印地语。

下面的示例从数据集卡片中获取仓库 ID，然后发现可用的划分并流式读取一个样本。

from datasets import get_dataset_split_names, load_dataset

dataset_id = input("Repository ID from the dataset card: ").strip()
config = "hi-Deva-IN"

splits = get_dataset_split_names(dataset_id, config_name=config)
print("Available splits:", splits)

data = load_dataset(
    dataset_id, name=config, split=splits[0], streaming=True
)
print(next(iter(data)))

Hugging Face Datasets 支持流式读取，因此读者无需下载整个语料即可检查记录。一旦发布可用，请固定数据集修订版本以实现可复现的实验。

对于首次训练研究，在固定 token 预算下比较各种混合方案，并记录自然/合成和原生/罗马化的比例。在跟踪各语言结果的同时，还要跟踪英语能力保持情况和语言/文字质量。创建留出划分时，要考虑跨语言和文字源自同一来源的记录。

要构建更完整的配方，请将语料库与 Nemotron 后训练数据搭配使用，例如 Chat & Instruction 或 Post-Training Blends 集合。对于印度特定的合成数据，请使用 Nemotron-Personas-India 为 NeMo Data Designer 提供种子，即基于印度真实世界分布的英语和印地语合成人物角色。

调整生成配方

用于 NeMo Data Designer 的开源 Nemotron Bharat 翻译插件 提供翻译和评估提示词、可选的基于反馈的重写、文档窗口化以及脚本重映射支持。使用其 配置参考 来选择模型和语言、根据你的领域调整提示词，并设置重写参数。随附的 开发者说明 解释了工作流程和工程选择。

从你自己的源文档的小样本开始。检查翻译质量以及对代码、数学和格式的保留情况，然后与母语审阅者一起完善提示词和检查项，之后再扩大规模。将生成和语料库验收视为两个独立步骤：插件返回候选结果和分数，而你的过滤策略决定哪些记录进入训练语料库。

范围和局限性

翻译拓宽了对源材料的获取途径，但并不能取代原本以印度语言撰写的文本，也不能保证覆盖当地知识和文化。我们建议将此语料库与来源适当的自然印度语言文本结合，并针对预期用例评估所得的混合数据。

质量评估主要是自动化的，辅以抽样人工审核，其覆盖范围因语言而异。对于十二种语言的工作流程（图 2），翻译器同时充当评判者。保留的文本仍可能包含错误，而十种语言的工作流程需要更广泛的母语者验证。源 ID 检查会移除处理重复项；它们不是对相似内容的语义去重。

除语料库外，IIT Madras 的 AI4Bharat 在 NVIDIA 的支持下正在构建 Indic-LLM-Eval-Suite，这是一个开放且不断发展的基准集合，用于评估印度语言模型能力。它帮助模型构建者评估任务性能和语言质量。请参阅配套博客 Better Models Need Better Benchmarks: Introducing Indic-LLM-Eval-Suite。

探索语言配置、测试训练混合数据，或将开放配方适配到新领域。分享各语言结果以及对生成工作流程的改进，可以帮助社区在此基础上继续发展。

延伸阅读与致谢

配套报告 Scaling Synthetic Pre-training Data and Evaluation for Indic LLMs 和 Nemotron 3.5 Super VL and Lightning technical report 提供了语料库核算、生成方法、实验和评估细节。评估是这项工作的另一半。关于基准方面，请参阅 AI4Bharat 和 NVIDIA 的配套博客 Better Models Need Better Benchmarks: Introducing Indic-LLM-Eval-Suite。

这项工作汇集了 NVIDIA、IIT Madras、AI4Bharat 和 Bodhan AI。我们也感谢该流程中所使用的模型和工具贡献：Google 的 Gemma、Bodhan AI 的 Indic Translate 和 NeMo Data Designer。更多 NVIDIA 数据资源可在 Nemotron Pre-Training Datasets collection 中获取。

来源：Hugging Face 社区博客 · huggingface.co