返回全部资讯
AWS Machine Learning BlogT1·开发与工程

Amazon Polly 上线语音克隆 支持 7 种语言

作者:Suyin Wang原标题:Amazon Polly launches voice cloning: A unique voice for your brand
62AI 研判分

Amazon Polly 语音克隆功能正式可用,采用受限开放(gated)方式。用户只需提供说话人几分钟的授权录音,即可生成基于生成式引擎的专属克隆音色,首批支持英语、西班牙语、德语、法语、意大利语、葡萄牙语和印地语七种语言。克隆音色自动加密并受访问控制,仅创建者可调用,已在生成式引擎覆盖的全部 AWS 区域(含 GovCloud)开放。

报道正文

本文目录9 个章节

Amazon Polly 的语音克隆功能现已作为受限发布正式可用。只需向 Amazon Polly 提供某位已同意克隆其声音的说话人几分钟的音频录音,Amazon Polly 就能以该说话人的声音构建属于你的克隆语音。克隆语音运行在 Amazon Polly 生成式引擎上,其自然度和准确度与其他生成式语音相当。Amazon Polly 语音克隆发布时支持七种语言:英语、西班牙语、德语、法语、意大利语、葡萄牙语和印地语。每个克隆语音只能说出其录制时所使用的语言。克隆语音会自动加密并受访问控制保护:只有你才能访问你的克隆语音。

Amazon Polly 语音克隆已在 Amazon Polly 生成式引擎支持的所有 AWS 区域可用,包括 AWS GovCloud (US) 区域。部分 Amazon Polly 客户已获得访问权限。其他客户可以联系其 AWS 账户团队或申请访问权限以获取访问权限。

借助这一新增功能,你可以将克隆生命周期集成到 AWS 应用中。为 Amazon Polly 客户构建克隆语音是免费的,Amazon Polly 按使用量对克隆语音的使用收费,详情请参阅 Amazon Polly 定价页面。

亲自听一听

按下播放:前几秒是说话人的真实录音,随后其克隆语音接管,说出他们从未录制过的话语。

  • 从录音到 TTS 语音。 我们的科学负责人 Trevor 几分钟的源音频,以及由此生成的生成式语音。

  • 录音:“你好,我是 Trevor,来自 Science。”克隆语音:“第一句是我的真实声音。这是我的克隆语音,由我几分钟的录音创建而成。它可以朗读你给它的任何文本。”

  • 支持七种语言。 听听作者之一 Jonas 先用德语录音,然后用他的克隆语音说话:

  • 录音:“Hallo, ich bin Jonas. Das ist meine echte Stimme.”(你好,我是 Jonas。这是我的真实声音。)克隆语音:“Und das ist meine geklonte Stimme! Gleiche Stimme, neue Worte: Diesen Satz habe ich geschrieben, aber nie aufgenommen.”(而这是我的克隆语音!同样的声音,新的话语:这句话是我写的,但从未录制过。)

  • 可用于各种应用。 下面是 Trevor 从事他从未做过的新工作:游戏中的非玩家角色。

  • “是谁在过我的桥?哦,又是你。和上次一样:回答我的谜语,不然就把三明治交出来。”

  • 通过声音克隆扩展你的声音库。听听这段来自 AWS 首席布道师 Jeff Barr 的音频示例:先是一段真实录音,然后是克隆出的他的声音。

  • 录音:“嗨,我是 Jeff,这是我真实的声音。”克隆声音:“而这是我克隆声音的效果,正在朗读一句我从未录过的话。”

  • Hannah:先是一段真实录音,然后是她在客服热线上的克隆声音。

  • 录音:“你好,我是 Hannah。这是我真实的声音。”克隆声音:“感谢致电 AnyCompany。您的订单 4471 9902 今天发货,预计周四上午 9 点到下午 1 点之间送达。您的确认码是 K-7-Q-2-X-9。”

  • Joely:先是一段真实录音,然后是她的克隆声音在讲解课程。

  • 录音:“嗨,我是 Joely,这是我真实的声音。”克隆声音:“在本模块中,我们将了解神经网络如何学习。首先,它做出一个猜测。然后,它衡量这个猜测偏差有多大,并一点一点地进行调整。”

你可以构建什么

跨渠道一致的品牌声音

建立一个可识别的声音,并将其用于你的交互式语音应答(IVR)系统、级联语音智能体、移动应用、店内广播、广告和联网设备。无需依赖通用的库存声音,也无需每次脚本变更都重新预约录音,你可以按需生成符合品牌调性的音频,并在每个渠道中保持一致的声音。

联络中心

在自助服务流程中提供独特且符合品牌调性的声音,并在优惠和政策变化时更新提示语,而无需重新进棚录音。你可以从源文本创建提示语,在正式上线前进行测试,并在问候、路由和通知体验中使用同一声音。

大规模媒体与内容

创作者、出版商和工作室可以使用多种自定义声音制作有声书、课程、播客、游戏角色和视频,以提升聆听体验,并快速制作后续章节或更新内容。

保持人设一致性的本地化

在内容库中保持可识别的声音身份,使旁白在不同作品和更新中保持连贯。每个克隆声音只会说其录制时所使用的语言。对于多语言体验,请按支持的每种语言分别创建并审核已批准的声音。

无障碍与个性化

为阅读体验、辅助工具和个性化交互提供自然、拟人的语音。每次创建语音时,你都需要确认已获得说话人的同意。

语音克隆的工作原理

借助语音克隆,你可以根据单个说话人的录音构建自定义的 Amazon Polly 语音,然后通过 Amazon Polly 生成式引擎用该语音合成语音。从录制说话人到使用成品语音,该语音需要经历四个步骤:

语音克隆生命周期:录制、创建、等待、使用

图 1:语音克隆生命周期,从录制说话人到使用成品语音

克隆语音需要经历四个步骤:

  1. 录制。 你录制一位说话人的音频(参见以下录制提示)。你可以直接在 CreateVoice 请求中发送录音,也可以在控制台上传录音。你还可以将录音存储在目标语音所在 AWS 区域的 Amazon Simple Storage Service(Amazon S3)存储桶中,并让 Amazon Polly 指向这些录音。
  2. 创建。 你调用 CreateVoice,提供 1-10 段录音、录音所用的语言以及 TermsAccepted=True(即你确认已获得说话人同意)。Amazon Polly 会立即返回一个语音 ID(vc-…),并在后台构建该语音。
  3. 等待。 创建过程是异步的,通常需要 5-10 分钟。在此期间,Amazon Polly 还会检查你的文本转语音(TTS)语音在说话人相似度方面的质量。你调用 GetVoice,直到状态从 pending 变为 active 或 failed。
  4. 使用。 你将语音 ID 传给 SynthesizeSpeech 以获取实时音频,或传给 StartSpeechSynthesisTask 以将长音频写入 S3,并设置 Engine="generative",调用方式与调用 Amazon Polly 中其他生成式语音相同。当你不再需要该语音时,调用 DeleteVoice。

同意与控制

克隆语音基于一个人的录音制作。你需要确认已获得说话人对所有录音的同意,并确保你能够控制谁可以使用该语音以及何时删除该语音。

  • 你确认对你创建的每个声音表示同意。当你创建声音时,无论是在控制台上操作,还是在 API 中设置 TermsAccepted=True,你都确认已获得创建和使用克隆声音所需的所有权利和同意。你对声音克隆的使用受 AWS 服务条款、生物识别通知与同意条款、AWS 负责任 AI 政策 和 AWS 可接受使用政策 的约束。
  • 生成的语音带有水印。Amazon Polly 会为使用克隆声音生成的文本转语音音频添加水印。
  • 只有你的账户可以使用它。克隆声音的作用域限定为创建它的 AWS 账户,你可以通过 AWS Identity and Access Management (IAM) 控制访问权限。你可以使用自己的 AWS Key Management Service (AWS KMS) 密钥加密声音并为其添加标签。
  • 你可以决定它何时被删除。一旦声音处于活动状态或其创建失败,你可以通过一次 DeleteVoice 调用或在控制台上删除该声音。
  • Amazon Polly 在声音创建完成后不会保留你的语音录音副本,也不会将其用于训练 Amazon Polly 模型。它只保留合成语音所需的声音数据,并以加密方式存储。你可以使用自己的 AWS KMS 密钥进行该加密,而 DeleteVoice 会立即删除这些数据。

我们建议你:

  • 保留每位说话者的同意记录。
  • 如果说话者撤回同意,请删除该声音。
  • 在适当的情况下,告知听众他们听到的是合成语音。
  • 仅向需要的人员和系统授予声音权限。

有关预期用途和限制的详细信息,请参阅 Amazon Polly AI 服务卡 和 AWS 负责任使用 AI 指南。

录音的最佳实践

你的克隆声音会从录音中学习,包括那些你宁愿它不要学习的内容:笔记本电脑风扇声、房间回声、会议应用的噪声滤波器。

  • 录制两到十分钟的自然语音,分成每段不超过一分钟的片段。每种声音最多可发送 10 段录音,音频总时长最多 15 分钟。质量比长度更重要:更多音频未必会改变声音的音色。
  • 只由一位说话人录制,在安静的房间里,与麦克风保持相同距离。使用 USB 麦克风,或能够录制 WAV 的手机应用。从一开始就以单声道 WAV、16 位、24 kHz 录制,这样后续无需转换。Amazon Polly 接受其他音频格式,但我们推荐 WAV。有关支持的格式和限制,请参阅 Amazon Polly 开发人员指南。
  • 避免使用会议应用和浏览器录音工具。它们的回声消除和噪声抑制会改变声音,而克隆也会学到这些改变。
  • 以你希望声音具有的风格录制每一段。克隆声音会从录音中获取风格,无法混合多种风格,因此欢快、悲伤和愤怒的片段不会给你一个能同时表现这三种风格的声音。
  • 用该声音应说的语言录制。声音克隆已使用美国英语、德语、美国西班牙语、法语、意大利语、巴西葡萄牙语和印地语的录音进行测试。这些语言的其他口音(如英国英语或加拿大法语)的录音也可使用,但测试较少,因此请用你自己的内容检查该声音。

入门

在控制台中: 为你的账户启用声音克隆后(请参阅可用性),展开左侧面板并选择 Voice cloning,上传最多 10 段录音或从 Amazon S3 中选择它们,确认条款,然后选择 Create。每次上传最大可达 5 MB。声音准备就绪后,可在其详情页上试用。

在代码中,你需要:

  • 最新版本的 boto3(pip install --upgrade boto3)。
  • polly:CreateVoice、polly:GetVoice、polly:DescribeVoices、polly:SynthesizeSpeech 和 polly:DeleteVoice 的 IAM 权限。对于长格式音频,还需要 polly:StartSpeechSynthesisTask、polly:GetSpeechSynthesisTask 以及对输出存储桶的 s3:PutObject 权限。
  • 对于以下 Amazon S3 示例:你的录音位于创建声音所在区域的存储桶中,并且调用 CreateVoice 的 IAM 角色或用户具有 s3:GetObject 权限。
PYTHON
import time

import boto3

# Use the Region of your S3 recordings.
polly = boto3.client("polly", region_name="us-east-1")

1. 使用已同意授权的说话人录音创建声音。

使用 1-10 段干净的 WAV 录音,每段最长一分钟。

takes = [ "s3://amzn-s3-demo-bucket/brand-voice/take-1.wav", "s3://amzn-s3-demo-bucket/brand-voice/take-2.wav", "s3://amzn-s3-demo-bucket/brand-voice/take-3.wav", ] voice = polly.create_voice( Name="MyBrandVoice", # 字母、数字、- 和 _,最多 64 个字符 LanguageCode="en-US", # 录音中所说的语言 TermsAccepted=True, # 确认说话人已同意并接受使用条款 VoiceCreationData={ "Recordings": [{"Format": "wav", "Data": {"S3Url": url}} for url in takes], }, Tags={"consent-record": "speaker-0042"}, # 可选:你自己的同意记录 ID,例如已签署的授权书 # 可选:使用你自己的 KMS 密钥加密声音(对称密钥,同一区域)。 # 创建或使用该声音的调用方需要对该密钥具有 kms、 # kms 和 kms 权限。 # CustomerManagedEncryption={ # "KmsKeyArn": "arn:aws:kms:us-east-1:111122223333/EXAMPLE" # }, )["Voice"] voice_id = voice["Id"] # 例如 "vc-0123456789"

2. 每 30 秒检查一次状态,直到声音变为 active 或 failed

(通常需要几分钟)。20 分钟后以错误停止。

deadline = time.monotonic() + 20 * 60 while voice["Status"] not in ("active", "failed"): if time.monotonic() > deadline: raise TimeoutError(f"{voice_id} is still {voice['Status']}") time.sleep(30) voice = polly.get_voice(VoiceId=voice_id)["Voice"] if voice["Status"] == "failed": # 检查录音,删除此声音并创建一个新的。 raise RuntimeError(f"{voice_id}: {voice.get('StatusReason', 'creation failed')}")

3. 使用你的新声音合成语音。

speech = polly.synthesize_speech( VoiceId=voice_id, Engine="generative", LanguageCode="en-US", OutputFormat="mp3", Text="Hello! This is my very own Amazon Polly voice.", ) with open("my-voice.mp3", "wb") as f: f.write(speech["AudioStream"].read())

当你不再需要该声音时:

polly.delete_voice(VoiceId=voice_id)

文本

如果 Python 报告 `Polly` 对象没有 `create_voice` 属性,请升级 boto3。

对于有声书章节或课程模块等长文本,请使用将音频写入 S3 的异步合成任务:

from pathlib import Path

PYTHON

task = polly.start_speech_synthesis_task(
    VoiceId=voice_id,
    Engine="generative",
    LanguageCode="en-US",
    OutputFormat="mp3",
    OutputS3BucketName="amzn-s3-demo-bucket",
    OutputS3KeyPrefix="narration/chapter-01",
    Text=Path("chapter-01.txt").read_text(encoding="utf-8"),
    # SnsTopicArn="arn:aws:sns:us-east-1:111122223333:polly-tasks",  # notify instead of polling
)["SynthesisTask"]
print(task["TaskId"], task["OutputUri"])  # poll get_speech_synthesis_task until "completed" or "failed"

有关你可以使用 Amazon Polly 构建的更多端到端语音 AI 应用(包括语音克隆功能,例如级联语音代理和实时语音翻译器),请访问 Amazon Polly GitHub 仓库。

生产环境注意事项

提前创建语音

语音创建需要数分钟,因此应将其视为一项预置步骤,而不是用户请求的一部分。一个小型工作流(例如 AWS Step Functions 或作业队列)可以调用 CreateVoice,每 30 秒检查一次 GetVoice,直到语音处于活动状态,然后将语音 ID 存储到你的配置中。CreateVoice 和 DeleteVoice 共享每秒 1 次请求的限制,因此请将批量创建和删除操作排队执行。

维护清单

DescribeVoices 会列出你克隆的语音以及 Amazon Polly 内置的语音。克隆语音的 Origin 设置为 customer。请为每个语音存储语音 ID、区域、语言、同意书参考和所有者,并为每个语音指定唯一的 Name。如果 CreateVoice 调用超时或返回服务器错误,该语音可能已经存在,而 SDK 的自动重试可能会创建第二个语音。在重试之前,请检查 DescribeVoices 中是否存在该名称。

为错误做好规划

当超过与 DeleteVoice 共享的每秒 1 次请求限制时,CreateVoice 会返回 ThrottlingException;当账户在该区域已达到克隆语音配额时,会返回 ServiceQuotaExceededException。对仍在创建中的语音进行合成或删除会返回 ConflictException。如果语音使用你自己的 KMS 密钥,则无权访问该密钥的调用方会收到访问被拒绝错误。创建失败时,StatusReason 仅提供一条通用消息,因此请根据前述录音最佳实践检查录音,然后删除失败的语音并创建新语音。

将权限范围限定到语音

克隆语音是 I AM 资源,因此你可以授予提供流量服务的角色使用所选语音进行合成的权限。如果该语音使用你自己的 KMS 密钥,该角色还需要访问该密钥的权限。请将 polly:CreateVoice 和 polly:DeleteVoice 保留给单独的预置角色。以下是服务角色的示例策略:

JSON
{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": "polly:SynthesizeSpeech",
      "Resource": "arn:aws:polly:us-east-1:111122223333:voice/vc-0123456789"
    }
  ]
}

借助标签,你可以使用 aws:ResourceTag 条件为一整组语音编写一次相同的规则。同时请检查你现有的策略:允许对所有资源("Resource": "*")执行 polly:SynthesizeSpeech 的语句也会覆盖账户中的每个克隆语音。

规划配额和区域

每个账户在每个区域初始有 10 个克隆语音的配额。如需申请提高配额,请联系你的客户团队或 AWS Support。语音仅存在于你创建它的账户和区域中。如需在其他区域或账户中提供服务,请使用相同的录音在该区域重新创建语音,并确保说话者的同意书涵盖每一份副本。

用你的真实脚本进行测试

在语音上线之前,请听它朗读你自己的内容:产品名称、数字、地址以及你拥有的最长句子。相同的文本在不同请求之间可能会略有差异。对于固定提示(例如电话线路问候语),请一次性生成音频,经说话者和你的品牌团队批准后,提供存储的文件。如果某个名称或术语读错了,可以在文本中以不同方式拼写,或使用语音合成标记语言(SSML)的 <phoneme> 标签。音素标签适用于英语、法语、意大利语、德语和西班牙语的克隆语音。请参阅支持的 SSML 标签。

注意事项

可用性访问权限按 AWS 账户启用。如果你在 Amazon Polly 控制台中看到 Voice cloning(展开左侧面板,查看是否列出了 Voice cloning),则说明你的账户已启用该功能。如果没有,你可以联系你的 AWS 账户团队,或申请访问权限以请求开通。支持的 AWS 区域与生成式引擎相同:美国东部(弗吉尼亚北部)、美国西部(俄勒冈)、欧洲(法兰克福)、欧洲(苏黎世)、欧洲(伦敦)、亚太地区(悉尼)、亚太地区(首尔)、亚太地区(新加坡)、亚太地区(东京)、加拿大(中部)以及 AWS GovCloud(美国西部)。克隆语音存储在你创建它时所在的 AWS 区域。
语言英语、德语、西班牙语、法语、意大利语、葡萄牙语和印地语。已测试的录音区域设置:美式英语(en-US)、德语(de-DE)、美式西班牙语(es-US)、法语(fr-FR)、意大利语(it-IT)、巴西葡萄牙语(pt-BR)和印地语(hi-IN)。这些语言的其他口音也可使用,但测试较少。每个语音说其录制时所使用的语言。
录音每个语音 1-10 段录音,总计最长 15 分钟。推荐使用 WAV:单声道、16 位、24 kHz 或 44.1/48 kHz。Amazon Polly 也接受其他音频格式。控制台上传的每个文件限制为 5 MB。对于更大的文件,请使用 Amazon S3。
数据处理语音创建完成后,Amazon Polly 会删除其保存的录音副本,并且不会将其用于训练 Amazon Polly 模型。它仅保留合成所需的语音数据,并以加密方式存储(你可以使用自己的 AWS KMS 密钥),直到你调用 DeleteVoice。
创建时间构建一个 TTS 语音通常需要 5-10 分钟,异步进行。
合成延迟与 Amazon Polly 中的生成式语音相同。
配额初始情况下,每个账户在每个 AWS 区域可拥有 10 个克隆语音。如需申请提高配额,请联系 AWS Support。CreateVoice 和 DeleteVoice 共享每秒 1 个请求的限制。
合成克隆语音遵循 Amazon Polly 针对生成式语音的配额,包括每次请求和每个合成任务的文本限制。请参阅 Amazon Polly 配额。
定价创建克隆语音是免费的。Amazon Polly 按需对克隆语音的使用收费。请参阅 Amazon Polly 定价。
API使用 CreateVoice、GetVoice、DeleteVoice 和 DescribeVoices 来管理语音。使用 SynthesizeSpeech 和 StartSpeechSynthesisTask 并设置 Engine="generative" 来使用它们。请参阅 Amazon Polly API 参考。

结论

Amazon Polly 中的语音克隆功能可为你的应用赋予人们熟悉的声音:只需录制一次,并获得说话者的同意,即可通过 Amazon Polly API 使用。要在控制台中开始使用,请确保你的账户已启用语音克隆,准备好录音和所需的同意书,打开 Amazon Polly 控制台,然后创建你的第一个克隆语音。如果你是新客户并希望启用语音克隆,请联系你的 AWS 客户团队,或申请访问权限以获取访问资格。

有关开发人员指南,请参阅 Amazon Polly 文档。有关定价信息,请参阅 Amazon Polly 定价页面。有关你可以使用 Amazon Polly 构建的其他语音 AI 用例(包括语音克隆),请查看 GitHub 仓库。

我们迫不及待想听到你构建的作品。

感谢 Trevor Wood、Jonas Rohnke、Suyin Wang、Hannah Barrett、Nikie Xiong、Jeff Barr 和 Joely Huang 献声。