返回全部资讯
OpenAI 官方博客T1·基座大模型

OpenAI 披露 Voice Engine:15 秒样本即可克隆语音

原标题:Navigating the challenges and opportunities of synthetic voices
68AI 研判分

OpenAI 公开了内部模型 Voice Engine 的初步测试结果,该模型仅需 15 秒音频样本和文本输入即可生成高度逼真的定制语音。尽管技术已用于驱动 ChatGPT 预设声音,但出于对深度伪造等滥用风险的担忧,OpenAI 决定暂缓全面发布并寻求监管对话。这一披露展示了小参数模型在情感表达与音色还原上的显著突破。

报道正文

本文目录4 个章节

产品

应对合成语音的挑战与机遇

我们分享了 Voice Engine 小规模预览阶段的经验教训,这是一款用于创建自定义语音的模型。

加载中…

OpenAI 致力于 开发安全且广泛造福人类的 AI⁠。今天,我们分享了一款名为 Voice Engine 的模型在小规模预览阶段获得的初步见解和结果。该模型利用文本输入和一段仅 15 秒的音频样本,即可生成听起来自然、且高度还原原说话者特征的语音。值得注意的是,仅需一个小型模型和一段 15 秒的样本,就能创造出富有情感且逼真的声音。

我们于 2022 年底首次开发了 Voice Engine,并将其用于驱动 文本转语音 API⁠(在新窗口中打开) 以及 ChatGPT Voice 和朗读功能⁠ 中的预设语音。与此同时,鉴于合成语音可能被滥用的风险,我们在更广泛的发布方面采取了谨慎且有据可依的策略。我们希望就合成语音的负责任部署展开对话,探讨社会如何适应这些新能力。基于这些讨论和小规模测试的结果,我们将做出更明智的决定,以确定是否以及如何大规模部署这项技术。

Voice Engine 的早期应用

为了更好地了解这项技术的潜在用途,去年年底我们开始在一个由少数受信任合作伙伴组成的小组中进行私下测试。这一群体所开发的应用给我们留下了深刻印象。这些小规模部署正在帮助我们完善策略、制定保障措施,并思考 Voice Engine 如何在各个行业中向善使用。以下是一些早期的例子:

  • 为不识字者和儿童提供阅读辅助,通过比预设语音涵盖更多样化说话者的自然、富有情感的语音来实现。专注于儿童学业成功的教育科技公司 Age of Learning⁠(在新窗口中打开) 一直利用该技术生成预先编写好的配音内容。他们还结合使用 Voice Engine 和 GPT‑4 来创建实时的个性化回复,以便与学生互动。借助这项技术,Age of Learning 能够为更广泛的受众创造更多内容。

  • 翻译内容,例如视频和播客,帮助创作者和企业以流畅的方式、用他们自己的声音触达全球更多受众。HeyGen⁠(opens in a new window) 是这一领域的早期采用者之一,它是一个 AI 视觉叙事平台,与企业客户合作创建逼真的自定义数字人形象,用于从产品营销到销售演示等多种内容场景。他们利用 Voice Engine 进行视频翻译,从而将演讲者的声音翻译成多种语言,触达全球观众。在用于翻译时,Voice Engine 会保留原始演讲者的母语口音:例如,使用法语演讲者的音频样本生成英语语音时,输出结果将带有法语口音。

Loading...

  • 连接全球社区,通过改善偏远地区的基本服务交付来实现。Dimagi⁠(opens in a new window) 正在为社区健康工作者构建工具,以提供包括母乳喂养咨询在内的各类基本服务。为了帮助这些工作者提升技能,Dimagi 结合使用 Voice Engine 和 GPT‑4,以每位工作者的主要语言(包括斯瓦希里语或更非正式的语言如 Sheng——一种在肯尼亚流行的混合语)提供交互式反馈。

Loading...

  • 支持非言语人群,例如为患有影响言语能力的疾病的人群提供治疗应用,以及为有学习需求的人群提供教育增强功能。Livox⁠(opens in a new window) 是一款 AI 替代沟通应用,为辅助与替代沟通(AAC)设备提供支持,使残障人士能够进行沟通。通过使用 Voice Engine,他们能够为非言语用户提供独特且非机械感的多种语言声音。用户可以选择最能代表自己的语音,而对于多语言用户,则可以在每种口语中保持一致的声音特征。

Loading...

  • 帮助患者重获声音,适用于那些遭受突发性或退行性言语障碍的患者。Lifespan⁠(opens in a new window) 旗下的诺曼·普林斯神经科学研究所(Norman Prince Neurosciences Institute)是一家非营利性医疗系统,也是布朗大学医学院的主要教学附属机构,目前正在探索 AI 在临床环境中的应用。他们一直在试点一个项目,向因肿瘤学或神经学病因导致言语障碍的个人提供 Voice Engine。由于 Voice Engine 所需的音频样本极短,医生 Fatima Mirza、Rohaid Ali 和 Konstantina Svokos 利用一段为学校项目录制的视频中的音频,成功恢复了一位因血管性脑肿瘤而失去流利说话能力的年轻患者的声音。

Loading...

安全地构建 Voice Engine

我们认识到,生成与人们声音相似的语音存在严重风险,这在选举年尤为引人关注。我们正在与美国及国际合作伙伴——涵盖政府、媒体、娱乐、教育、公民社会等领域——展开合作,以确保我们在构建过程中纳入他们的反馈。目前测试 Voice Engine 的合作伙伴已同意我们的 使用政策⁠,该政策禁止未经同意或缺乏法律依据的情况下冒充其他个人或组织。此外,我们与这些合作伙伴的条款要求必须获得原始说话者的明确且知情的同意,并且我们不允许开发者构建让个人用户创建自己声音的功能。合作伙伴还必须向其受众清晰披露所听到的声音是由 AI 生成的。最后,我们实施了一系列安全措施,包括对 Voice Engine 生成的任何音频进行水印标记以追溯来源,以及对其使用方式进行主动监控。我们认为,任何合成语音技术的广泛部署都应伴随语音认证体验,以验证原始说话者是否知情并自愿将其声音添加到服务中,同时应建立“禁用声音列表”,以检测并防止生成与知名人物过于相似的声音。

展望未来

Voice Engine 是我们致力于探索技术前沿并公开分享 AI 所能实现之可能性的承诺的延续。遵循我们的 AI 安全方针⁠ 和 自愿承诺⁠,我们决定目前仅对该技术进行预览,而不广泛发布。我们希望 Voice Engine 的此次预览既能凸显其潜力,也能激发社会增强韧性以应对日益逼真的生成式模型所带来的挑战。具体而言,我们鼓励采取以下措施:

  • 逐步淘汰基于语音的身份验证作为访问银行账户及其他敏感信息的安全手段
  • 探索相关政策,以保护个人声音在 AI 中的使用
  • 加强公众教育,帮助人们理解 AI 技术的功能与局限,包括识别欺骗性 AI 内容的可能性
  • 加速开发和采用追踪视听内容来源的技术,确保用户始终清楚自己是在与真人还是 AI 互动

无论我们最终是否广泛部署该技术,让全球民众了解这一技术的发展方向都至关重要。我们期待继续与政策制定者、研究人员、开发者及创意人士就合成语音带来的挑战与机遇展开对话。