Google 开源 WAXAL:覆盖 27 种非洲语言的语音数据集

原标题:WAXAL: A large-scale open resource for African language speech technology
68AI 研判分

Google Research 发布 WAXAL,这是一个包含 27 种撒哈拉以南非洲语言的大规模开放语音数据集,涵盖 ASR 和 TTS 数据。该数据集采用宽松许可协议,旨在填补低资源语言的技术空白,赋能非洲本地 AI 生态构建更包容的语音系统。

报道正文

本文目录4 个章节

WAXAL 为非洲语音技术提供了至关重要的开放获取基础。该数据集包含涵盖 27 种本土语言的大规模自动语音识别(ASR)和文本转语音(TTS)数据,并采用高度宽松的许可证授权,从而赋能非洲 AI 生态系统构建更稳健的语音系统,更好地反映该地区独特的语言多样性。

虚拟助手、自动转录等语音驱动技术彻底改变了我们与计算机交互的方式。然而,这些技术的红利不成比例地集中在少数高资源语言上。这一鸿沟导致数亿人——尤其是拥有超过 2,000 种不同语言的撒哈拉以南非洲地区居民——无法以母语使用关键技术。几年前,Google Research 团队着手解决这一问题。

为满足这一迫切需求,我们推出了 WAXAL:一个大规模、开放获取的语音数据集,初期覆盖 27 种撒哈拉以南非洲语言,涉及超过 1 亿使用者,分布于 26 多个国家。WAXAL 始于 2021 年,经过多年努力,并与非洲学术及社区组织合作开发而成,提供了构建稳健语音系统所需的高质量、宽松许可数据。作为奠基性里程碑,此次初始发布包含约 1,846 小时的转录自然语音数据,用于自动语音识别 (ASR),以及超过 565 小时的高保真录音,用于文本转语音 (TTS)。我们以知识共享许可证 (CC-BY-4.0) 发布这些资源,旨在推动研究发展,并促进针对非洲大陆独特语言特征的包容性语音技术应用。我们计划让 WAXAL 数据集持续演进和扩展,纳入更多语言,作为我们弥合数字鸿沟长期努力的一部分。

WAXAL 简介

通过解决超过 1 亿使用者的关键数据稀缺问题,WAXAL 旨在赋能区域 AI 研发生态系统。为支持稳健语音技术的发展,该语料库整合了两个专门的数据集,旨在为语音识别和合成任务提供全面覆盖。

  • WAXAL-ASR(自发语音理解): 该数据集包含约 1,846 小时的转录音频,旨在捕捉自然、非脚本化的语音。参与者并非朗读脚本,而是被要求使用母语描述涵盖 50 多个主题的视觉刺激内容。这种基于图像提示的诱导方式成功捕捉了真实的语言变体,包括声调细微差别和语码转换。与传统方法相比,该方法生成的语音更加自然。

  • WAXAL-TTS(高保真语音生成): 为了促进创建听起来自然的合成语音,该数据集包含超过 565 小时的高质量、音素平衡的音频。TTS 数据的采集过程高度协作:当地社区成员两两配对,共同起草 10,000 至 20,000 字的脚本,并轮流担任朗读者和录音者角色。为确保专业级的声学效果,部分参与者利用项目资金搭建了定制隔音棚。随后,对录音进行分段处理,与脚本文本匹配,并审核其准确性和质量。

WAXAL 语料库同时聚焦于非脚本化 ASR 数据和高保真 TTS 音频,旨在支持全双工对话系统的开发。具体而言,ASR 组件有助于建模现实场景中典型的多样化、自发语音输入,而高质量的 TTS 组件则提供了生成清晰、自然输出所需的干净参考数据。下表列出了当前数据集中包含的 27 种语言:

扎根于非洲 AI 生态系统

WAXAL 项目的核心在于我们致力于与非洲 AI 生态系统合作,并直接为其做出贡献。数据收集工作完全由非洲学术机构和社区组织主导,并在 Google 专家的指导下遵循世界级的数据收集规范。这种协作模式确保了语料库由其服务对象构建并服务于该群体;各合作伙伴采用共享的方法论,分别专注于特定语言子集。我们的合作伙伴包括 Makerere University,其为九种不同语言收集了 ASR 和/或 TTS 数据;以及 University of Ghana,其工作重点涵盖八种语言,采用了上述基于图像提示的 ASR 数据收集方法。其他关键合作方还包括 Digital Umuganda,其与 Addis Ababa University 合作,在领导多种区域语言的 ASR 数据收集方面发挥了重要作用。对于高质量录音棚录制的语音,Media Trust、Loud n Clear 和 African Institute for Mathematical Sciences Senegal 牵头完成了多种区域语言的 TTS 录音工作。

这一框架从根本上植根于这样一个原则:合作伙伴保留所收集数据的所有权,同时共同承诺将所有数据集向更广泛的社区开放获取。这种深度协作和开放获取的理念已经催生了值得关注的衍生研究和出版物。

  • 通过这一框架,我们的合作伙伴已经推动了新的研究进展,例如开发了一本用于社区驱动收集受损语音的指南。这项研究产出了首个面向患有脑瘫和口吃等疾病的Akan语使用者的开源数据集,并证明对于这类人群,基于图像的现场引导比基于文本的提示更为有效。这项工作为在低资源环境中开发包容性语音技术提供了至关重要的路线图。
  • 此外,该倡议支持了一项重要的研究,该研究引入了一个涵盖五种加纳语言——Akan、Ewe、Dagbani、Dagaare 和 Ikposo——的 5,000 小时语音语料库。这项工作通过采用受控众包方法来捕捉自然、自发的语调,为构建适应西非语言多样性的稳健 ASR(自动语音识别)和 TTS(文本转语音)系统建立了基础设施。
  • 其他关键研究聚焦于对四种最先进模型(Whisper、XLS-R、MMS 和 W2v-BERT)在 13 种非洲语言上的性能进行基准测试。该研究分析了性能如何随训练数据量的增加而扩展,提供了关于数据效率的关键见解,并强调扩展收益强烈依赖于语言复杂性和领域对齐度。
  • 最后,发表了一项系统性文献综述,梳理了覆盖 111 种非洲语言的 74 个数据集,以描绘当前语音技术的前沿版图。该综述强调了多领域对话语料库的迫切需求,以及采用语言学导向指标(如字符错误率 (CER))的重要性,以便更好地评估在形态丰富且具声调的语言环境中的性能。

结论与未来方向

[注:本文篇幅超长,以上为核心前篇精译,后续内容保留原文呈现]

WAXAL represents a key milestone in bridging the digital divide, offering a high-quality, open-access speech resource for 27 Sub-Saharan African languages. Developed through deep collaboration with African academic and community organizations, this initiative empowers the continent’s AI ecosystem and preserves linguistic diversity. We hope WAXAL will continue to serve as a vital resource for the digital preservation of African languages and a foundation for future innovations. Google remains committed to this effort, with plans to continuously expand the WAXAL dataset.

Acknowledgements

We are grateful to our partners at Makerere University, the University of Ghana, Digital Umuganda, University of Addis Ababa, the African Institute for Mathematical Sciences Senegal, Media Trust and Loud and Clear Communications Ltd for their essential contributions in reducing the language gap and building a more inclusive digital future for millions of speakers across the African continent.