NVIDIA 发布 Nemotron-pretraining-Indic-v1 并开放 2.8 万亿 token 的印度语数据生成流水线

NVIDIA 联合 AI4Bharat 和 IIT Madras 发布了 Nemotron-pretraining-Indic-v1 数据集，包含约 2.83 万亿个 token，覆盖印度宪法规定的 22 种语言及 34 种语言 - 脚本配置。该发布不仅包含数据本身，还同步开源了基于 NeMo Data Designer 构建的 GPU 加速数据生成流水线，允许开发者复用其提示词、工作流和质量检查机制来生成更多合成数据。

数据构成上，核心部分由 2,601.0B native-script tokens（原生脚本）和 224.6B romanized tokens（罗马化文本）组成，均源自对 15 个 Nemotron-CC-v2 子集的英文文档进行翻译和修复。针对十二种主要语言，流水线采用 Gemma-4-31B-it 作为翻译与评估模型，使用受 MQM 启发的评分标准，仅保留得分至少 75/100 的输出，并通过反馈循环修复低分样本以回收 438.4B tokens；其余十种语言则使用 Bodhan AI 的 Indic Translate 模型进行长文档处理。这种设计确保了合成数据在保留数学公式、代码等结构化内容方面的准确性。

在效果验证方面，Nemotron 3.5 Super VL 模型经过 100B 训练 token 的持续预训练（其中 10% 为该合成与天然混合数据），在所有五个印度语知识与推理基准（MILU, Indic MMLU-Pro, Indic ARC-Challenge, Indic ARC-Easy, Indic GSM8K）上取得了 4.98 至 9.82 个百分点的提升。尽管指令遵循能力（IFEval 1.5）略有下降，但在 IndiVibe 评估中表现出更好的流利度和脚本保真度。需要注意的是，这些提升是合成数据与天然文本混合训练的结果，且当前评估主要依赖自动化指标，未来仍需结合更多本地知识进行验证。