NVIDIA 联合 AI4Bharat 发布 Indic 预训练数据：2.8 万亿 Token 覆盖 22 种语言及开源 GPU 加速生成管线

返回文章列表

扩展印度语预训练规模：2.8 万亿 Token 与开源数据生成流水线

企业 + 文章 发布于 2026 年 10 月 16 日 点赞 - Will Jennings WillJenningsDC nvidia Kiran Praveen kipraveen nvidia Sriharsha Niverty sniverty nvidia Raviraj Joshi ravirajoshi nvidia Markus Kliegl mkliegl-nv nvidia Yev Meyer nv-3mei nvidia Utkarsh Vaidya uvaidya nvidia

涵盖 22 种语言的原生文字数据、12 种语言的罗马化数据，以及一套可复用的 GPU 加速流水线，用于翻译、质量评估与修复。

作者： AI4Bharat — Mohammed Safi Ur Rahman Khan, Mitesh Khapra, Anoop Kunchukuttan。NVIDIA — Niket Agarwal, Raviraj Joshi, Anusha Kamath, Markus Kliegl, Yev Meyer, Sriharsha Niverty, Kiran Praveen, Utkarsh Vaidya。

我们很高兴推出 Nemotron-pretraining-Indic-v1，该数据集包含约 2.8 万亿 Token，覆盖 22 种印度语言，并将随其配套的开源、GPU 加速数据生成流水线一同发布。这 22 种语言均列于印度宪法之中，是 97% 印度人的母语，根据 2011 年人口普查数据，涉及近 12 亿公民。该项目由 NVIDIA 与印度顶尖工程学院 IIT Madras 及其 AI4Bharat 实验室联合开发，为模型构建者提供了用于印度语预训练的丰富新资源。该流水线完整记录了数据生成的配方，包括提示词（prompts）、LLM 工作流及质量检查环节，开发者可将其适配至自有源材料，从而按需生成更多数据。

AI4Bharat 是印度理工学院马德拉斯分校（IIT Madras）旗下的印度语言研究实验室，致力于构建面向印度语言的开源数据集和模型。其资源，例如 Sangraha——一个涵盖 22 种印度语言的开源预训练语料库，为开放式的印度语言模型研究奠定了坚实基础。我们联合发布的开源成果大幅扩充了社区可用的合成印度语训练数据规模。该成果将包括数学、代码及问答内容在内的精选英文资料广泛引入印度语言体系，为团队提供了更多训练素材，助力构建能够用这些语言解释技术概念、解决难题并回答问题的模型。每条记录均可追溯至精选源文档，且每个输出都经过与输入的比对校验，从而确保合成文本始终基于真实信息。

领导 AI4Bharat 并入选 2025 TIME100 AI 榜单 的 Mitesh Khapra 指出了核心痛点：印度语言技术的发展滞后于英语，原因在于“我们缺乏足够的印度语言数据”。我们通过提供更多数据以及一套用于生成更多数据的开放方案来回应这一挑战。

该语料库还充分考虑了人们的书写习惯。它涵盖了全部 22 种语言的原生文字数据，以及其中 12 种语言的罗马化文本，共计 34 种语言-文字配置。我们的工作流结合了文档级翻译、质量评估和针对性修复，并设有检查机制以保留公式、表格和代码等内容。这些数据补充了自然创作的印度语文本，后者对于本地知识和文化语境而言依然至关重要。

我们公开了生成方案，以便社区不仅能复现数据，还能在此基础上进一步拓展工作。团队可以直接使用该语料库，调整提示词和质量检查标准，或将自己的源文档纳入工作流。通过同时开放数据和流程，我们旨在让大规模印度语数据生成更加易于获取，并赋能更多开发者共同推动跨印度语言更强模型的构建。

继续对 Nemotron 3.5 Super VL 进行预训练时，新增了 100 亿个印度语系 token，这些 token 源自该语料库中涵盖十二种语言的子集以及自然的印度语文本。我们的模型技术报告详细阐述了整个过程。我们计划在未来的 Nemotron 模型中基于此语料库进一步扩展。

语料库包含哪些内容？

图 1。该语料库包含 2,601.0 亿个原生文字 token 和 224.6 亿个罗马化文字 token。计数使用 Gemma-4 tokenizer。文档记录包括共享来源的翻译版本和文字变体；它们并非唯一英文文档的数量。

该语料库分为两组语言配置：

• 原生文字和罗马化数据： 孟加拉语、古吉拉特语、印地语、卡纳达语、马拉雅拉姆语、马拉地语、尼泊尔语、奥里亚语、旁遮普语、泰米尔语、泰卢固语和乌尔都语。
• 仅原生文字数据： 阿萨姆语、博多语、多格拉语、克什米尔语、孔卡尼语、迈蒂利语、曼尼普尔语、梵语、桑塔利语和信德语。

在此语境下，原生文字指代书写系统：文本仍是从英语翻译而来。罗马化是指用拉丁字母书写的印度语系文本，而非英语翻译。对于上述十二种双文字语言，罗马化形式覆盖了已接受的原生文字翻译的一个子集。

这一区别在构建训练混合数据（training mixture）时至关重要。原生文字和罗马化记录提供了不同的文字曝光度，但可能表达相同的底层内容。Token 数量描述的是保留下来的语料库（包括已接受的改写），而不是某次训练运行的 token 预算。此外，计数还取决于所使用的 tokenizer，因此语料库清单与训练 token 数量应分开解读。

从英文源文档到印度语系训练数据

为了构建这一语料库，我们首先从 15 个 Nemotron-CC-v2 子集中获取文档，这些子集涵盖网页文本、问答材料、数学、代码及其他专业内容。我们使用 NVIDIA 的开源合成数据生成框架 NeMo Data Designer 来执行翻译、质量检查以及针对性修复。在整个工作流中，我们保留每个源标识符，以便开发者可以将输出追溯至其原始文档。这种清晰的溯源机制正是使开放数据具备可审计性和可扩展性的关键因素之一。图 2 展示了针对十二种语言的工作流程。

图 2. 基于 NeMo Data Designer 和 Gemma-4-31B-it 实现的十二种语言印度语系（Indic）合成数据四阶段流水线。我们将英文文档进行翻译，评估翻译质量，修复低分输出，并将部分已接受的翻译转换为拉丁字母脚本。其余十种语言则采用下文所述的独立“印度语系翻译”工作流程。

十二种语言的工作流程

对于这十二种语言，我们对文档进行完整翻译，以便模型能够利用跨段落、表格和公式的上下文信息。我们通过比较各模型在完整文档上的表现，重点考察翻译质量及技术内容的保留情况，从而选定了 Gemma-4-31B-it。我们的提示词明确区分了需要翻译的散文内容与需要保留的内容，包括代码、公式、URL 和格式标记。

翻译完成后，我们使用同一模型对照英文原文评估每个输出结果。评分标准参考了 Multidimensional Quality Metrics（MQM），这是一个按错误类型和严重程度对翻译错误进行分类的开放框架，涵盖语义、流畅度、术语、风格和格式五个维度。我们仅保留得分不低于 75/100 的输出（此为评分标准分数，而非准确率百分比）。对于得分较低的输出，我们利用评估反馈指导修复，然后再次依据相同阈值进行评估。这一流程在原生文字和罗马化数据中恢复了 4384 亿个 token，这些 token 已包含在语料库总量中。抽样人工审核以及故意引入错误的测试帮助我们识别出遗漏内容和残留英文，从而为优化提示词和检查机制提供了依据。

接受的原生文字翻译也是生成罗马化数据的起点。我们将其中一部分转换为拉丁字母脚本，并对照其原生文字输入检查结果。这一步骤将翻译与脚本转换分离开来。在我们最初的人工对比中，这种两步法相比直接从英文生成罗马化文本，产生的幻觉添加更少，残留英文也更少。

十种语言的工作流

对于其他十种语言，我们针对对比中观察到的长文档质量和脚本稳定性问题调整了工作流。我们使用 Indic Translate 进行翻译，这是由 Bodhan AI（一个在印度理工学院马德拉斯分校孵化的教育领域人工智能非营利中心）开发的面向英语和 22 种印度语言的文档级翻译模型。随后，Gemma-4-31B-it 对照英文原文评估每项翻译。对于八种语言，我们保留整篇文档的处理方式。对于较长的桑塔利语文档，我们采用重叠窗口进行翻译并重建文档；对于曼尼普尔语，我们先将其翻译成孟加拉文脚本，再转换为其原生文字梅泰·马耶克文（Meitei Mayek）。这些工作流仅保留得分不低于 75/100 的输出，且只生成原生文字数据，不包含基于反馈的重写环节。

Indic 继续预训练后发生了哪些变化？

Nemotron 3.5 Super VL 技术报告对比了印度语持续预训练（CPT）阶段前的检查点与该阶段后的检查点。配置的预算为 1000 亿训练 token，其中 10%（100 亿 token）分配给合成与天然印度语文本的混合数据。剩余的 90% 保持先前训练混合数据的相对比例不变。

在所有五项报告的印度语知识与推理基准测试中，得分均有所提升：MILU、Indic MMLU-Pro、Indic ARC-Challenge、Indic ARC-Easy 和 Indic GSM8K。

图 3. Nemotron 3.5 Super VL 在印度语 CPT 阶段前后的表现。增益范围为 4.98 至 9.82 个百分点。该对比报告的是结合合成与天然印度语数据的整个训练阶段的变化，而非单独隔离合成语料的贡献。不同基准测试的语言覆盖范围存在差异；这些是阶段级检查点，并非最终模型发布版本的对比。

来源：Nemotron 3.5 Super VL 技术报告，表 2。GSM8K 排除了奥里亚语（Odia），因为评估超出了服务上下文限制。

这些增益支持了结合合成与天然印度语数据的 CPT 配方，而对于其他模型和语言的最佳混合比例选择，仍有待进一步研究。

配套的印度语报告使用十二种语言组的第一轮接受数据，考察了源数据混合比例、合成数据池规模以及文字覆盖范围。对完整语料库（包括恢复的重写内容和其他十种语言）的评估，仍是后续受控研究的下一步工作。

Nemotron 3.5 Super VL 更广泛的印度语能力

除 CPT 阶段的结果外，发布的模型与前一代相比表现如何？图 4 对比了 Nemotron 3.5 Super VL 与 Nemotron 3 Super 在印度语任务性能和语言质量方面的表现。这些结果反映了发布模型的完整训练流程，包括印度语 CPT 和后训练阶段。

Nemotron 3.5 Super VL 在展示的六项任务基准中的五项上得分更高，涵盖知识、推理、数学、代码和翻译。其在 IFEval 1.5 上的指令遵循能力下降了 2.04 分。此外，它在 IndiVibe 的全部四个维度上均有提升：实用性、流畅性、语言与文字保真度以及适当的详细程度。IndiVibe 是 Sarvam AI 推出的开源基准，包含印度语种的助手风格提示词。综合来看，这些评估既考察了模型的能力边界，也检验了其在印度语种中的沟通表现。

图 4. Nemotron Super 各代模型在印度语任务性能及语言质量方面的表现。左图：六项任务基准。右图：初步的 IndiVibe 条件偏好得分，并非直接的对决胜率。标签显示的是百分点变化，但 WMT24++ 除外，其使用 chrF 分数点。有关基准测试和评估详情，请参阅配套的印度语技术报告。

开始构建

加载语料库

首先确定你的模型所需语言和文字，检查样本数据，并在训练前审阅数据集卡片（dataset card）和许可证信息。配置采用语言、文字和地区标签：例如，hi-Deva-IN 表示天城文（Devanagari）书写的印地语，而 hi-Latn-IN 表示罗马化拼写的印地语。

以下示例首先从数据集卡片中获取仓库 ID，然后发现可用的划分（splits）并流式加载一个样本。

from datasets import get_dataset_split_names, load_dataset

dataset_id = input("Repository ID from the dataset card: ").strip()
config = "hi-Deva-IN"

splits = get_dataset_split_names(dataset_id, config_name=config)
print("Available splits:", splits)

data = load_dataset(
    dataset_id, name=config, split=splits[0], streaming=True
)
print(next(iter(data)))

Hugging Face Datasets 支持流式传输，使读者能够在不下载整个语料库的情况下检查记录。一旦发布可用，请固定数据集版本以确保实验的可复现性。

对于首次训练研究，请在固定的 token 预算下比较不同混合比例，并记录自然/合成数据以及原生/罗马化脚本的占比。跟踪各语言的表现结果，同时关注英语能力的保留情况以及语言和脚本的质量。在创建留出集（held-out splits）时，需考虑源自同一来源但在不同语言和脚本下的记录。

为了构建更完善的配方，可将该语料库与 Nemotron 后训练数据配对使用，例如 Chat & Instruction 或 Post-Training Blends 数据集集合。针对印度特定的合成数据，可使用 Nemotron-Personas-India 为 NeMo Data Designer 提供种子数据，这是一套基于印度真实世界分布、以英语和印地语编写的合成人物画像。

调整生成配方

开源的 Nemotron Bharat 翻译插件（适用于 NeMo Data Designer）提供了翻译和评估提示词、可选的基于反馈的重写、文档窗口化处理以及脚本重映射支持。请利用其配置参考来选择模型和语言，根据领域需求调整提示词，并设置重写参数。配套的开发者说明解释了工作流程及工程决策。

首先使用少量自有源文档样本进行测试。检查翻译质量以及代码、数学公式和格式是否得到保留，随后在扩大规模之前，邀请母语评审人员优化提示词和检查机制。将生成过程和语料库验收视为两个独立的步骤：插件返回候选数据和评分，而你的过滤策略决定哪些记录最终进入训练语料库。

范围与局限性

翻译扩大了获取源材料的途径，但不能替代原本用印度语言撰写的文本，也无法保证对本地知识和文化的覆盖。我们建议将此语料库与适当来源的自然印度语文本结合使用，并针对预期用例评估最终的混合效果。

质量评估主要采用自动化方式，并辅以抽样人工审核，其覆盖范围因语言而异。在十二种语言的工作流中（图 2），翻译人员同时担任评审角色。保留的文本仍可能包含错误，而十种语言的工作流则需要更广泛的母语者验证。Source-ID 检查用于移除处理过程中的重复项；这并非针对相似内容的语义去重。

除了语料库之外，印度理工学院马德拉斯分校的 AI4Bharat 团队在 NVIDIA 的支持下，正在构建 Indic-LLM-Eval-Suite，这是一个开放且不断演进的基准测试集合，用于评估印度语系模型的能力。它有助于模型开发者评估任务性能和语言质量。请参阅配套博客文章：更好的模型需要更好的基准：介绍 Indic-LLM-Eval-Suite。

探索语言配置、测试训练数据混合方案，或将开源配方适配到新领域。分享各语言的结果以及对生成工作流的改进，可以帮助社区在此基础上继续推进相关工作。