Hugging Face BlogT1·78 分
NVIDIA 联合 AI4Bharat 发布 Indic 预训练数据：2.8 万亿 Token 覆盖 22 种语言及开源 GPU 加速生成管线
原标题：Scaling Indic Pretraining: 2.8 Trillion Tokens and an Open Data Generation Pipeline
- 发布 2.8 万亿 Token 规模的 Indic 预训练数据集，覆盖 22 种原生脚本语言和 12 种罗马化语言。
- 开源基于 GPU 加速的数据生成管线，集成翻译、质量评估和自动修复模块，提升数据处理效率。
- 配套提供 Indic-LLM-Eval-Suite 评测套件，支持社区验证不同语言混合比例对模型性能的影响。