Hugging Face 与 IISc 合作开放 Vaani 多模态数据集
Hugging Face 与印度理工学院(IISc)及 ARTPARK 达成合作,正式向全球开发者开放“Vaani”数据集。该数据集是印度目前最多样化的开源多模态、多语言资源,旨在降低针对印度本土语言构建 AI 模型的门槛。
报道正文
本文目录8 个章节
Hugging Face 与 IISc 合作,助力印度多元语言模型开发
发布于 2025 年 2 月 27 日 在 GitHub 上更新 点赞 31
Prasanta Kumar Ghosh prasantg ARTPARK-IISc Nihar Desai nihar-artpark ARTPARK-IISc Sanka Visruth-sanka ARTPARK-IISc Sujith Pulikodan SujithPulikodan ARTPARK-IISc
印度科学理工学院(IISc)和 ARTPARK 与 Hugging Face 达成合作,旨在让全球开发者能够访问 Vaani——这是印度最多元化的开源多模态、多语言数据集。双方组织均致力于构建包容、易用且前沿的 AI 技术,以尊重语言和文化的多样性。
合作伙伴关系
Hugging Face 与 IISc/ARTPARK 的合作旨在提升 Vaani 数据集的可访问性和易用性,鼓励开发能更好理解印度多元语言并满足其民众数字化需求的 AI 系统。
关于 Vaani 数据集
由 IISc/ARTPARK 和 Google 于 2022 年发起的 Project Vaani 是一项开创性计划,旨在创建一个真正代表印度语言多样性的开源多模态数据集。该数据集采用独特的地理中心方法,不仅关注主流语言,还着重收集偏远地区使用的方言和语言。
Vaani 的目标是从遍布全印度 773 个地区的 100 万人中,收集超过 150,000 小时的语音数据和 15,000 小时的转录文本数据,以确保语言、方言和人口统计特征的多样性。
该数据集分阶段构建,第一阶段覆盖 80 个地区,目前已开源。第二阶段正在进行中,将数据集扩展至另外 100 个地区,进一步增强 Vaani 在印度多元语言环境中的覆盖面和影响力。
Vaani 数据集的关键亮点,目前已开源部分:(截至 2025-02-15)
按地区划分的语言分布
Vaani 数据集展示了印度各地区丰富的语言分布情况,凸显了地方层面的语言多样性。这些信息对于希望构建针对特定地区和方言的语音模型的研究人员、AI 开发者以及语言技术创新者而言极具价值。如需查看详细的按地区划分的语言分布数据,请访问:HuggingFace 上的 Vaani 数据集
转录子集
如果您只需要访问已转录的数据,并希望跳过未转录的纯音频数据,我们已将大型数据集的一个子集在此处开源。该数据集包含 790 小时的已转录音频,来自约 70 万位说话者,涵盖 7 万张图片。此资源包括与精确转录文本相匹配的小型分段音频单元,支持以下多种任务:
- 语音识别:训练模型以准确转录口语内容。
- 语言建模:构建更精细的语言模型。
- 分割任务:识别不同的语音单元以提高转录准确性。
这一附加数据集补充了主要的 Vaani 数据集,使得开发端到端语音识别系统和更具针对性的 AI 解决方案成为可能。
LLM 时代下 Vaani 的应用价值
Vaani 数据集提供了多项关键优势,包括广泛的语言覆盖范围(54 种语言)、多样化的地理区域代表性、多样的教育和社会经济背景、极大的说话者覆盖范围、自发语音数据以及真实场景下的数据采集环境。这些特性能够助力构建包容性的 AI 模型,用于:
- 语音转文本与文本转语音:针对基于 LLM 和非 LLM 的应用场景对这些模型进行微调。此外,转录标注功能支持开发代码切换(印地语与英语混合)ASR 模型。
- 面向印度语言的基础语音模型:该数据集在语言和地理覆盖范围上的显著广度,为构建稳健的印度语言基础模型提供了有力支持。
- 说话人识别/验证模型:得益于涵盖超过 80,000 名说话人的数据,该数据集非常适合用于开发鲁棒的说话人识别和验证模型。
- 语言识别模型:支持为各种实际应用场景创建语言识别模型。
- 语音增强系统:该数据集的标注体系有助于开发先进的语音增强技术。
- 增强多模态 LLM:其独特的数据采集方式使其在与其它多模态数据集结合时,对于构建和提升 LLM 的多模态能力具有重要价值。
- 性能基准测试:由于具备多样的语言、地理及真实世界数据特性,该数据集是语音模型基准测试的理想选择。
这些 AI 模型可驱动广泛的对话式 AI 应用。从教育工具到远程医疗平台、医疗健康解决方案、选民热线、媒体本地化以及多语言智能设备,Vaani 数据集有望在实际场景中带来变革性影响。
下一步计划
IISc/ARTPARK 与 Google 已将合作扩展至第二阶段(新增 100 个地区)。至此,Vaani 已覆盖印度所有邦!我们很高兴能将这一数据集呈现给大家。
该地图展示了截至 2025 年 2 月 5 日已在印度各地完成数据采集的区域
如何参与贡献
最有意义的贡献方式就是使用 Vaani 数据集。无论是构建新的 AI 应用、开展研究,还是探索创新用例,您的参与都将有助于改进和扩展该项目。
如果您在使用该数据集的过程中有任何反馈或见解,我们非常乐意倾听。请通过 [email protected] 与我们分享您的使用体验或咨询合作机会,也欢迎填写此 反馈表单。
怀着对印度语言多样性的热爱 ❤️ 制作