NVIDIA 展示了一个基于 Nemotron 开源模型栈构建的万圣节互动投影“MonsterHouse”。该应用集成了 Nemotron ASR、Magpie TTS 和 Audio2Face-3D,实现了具备情感反馈能力的实时语音交互智能体。此案例主要作为技术演示,展示了多模态组件在特定场景下的集成能力。
术语slug: zero-shot-tts
零样本语音合成
Zero-shot TTS
无需针对特定说话人微调,仅凭少量参考音频即可生成其语音的技术
收录情报动态
Hugging Face BlogT1·智能体与协同
35 分
IT之家 · 智能时代T2·开源与评测
78 分
蚂蚁百灵正式开源 Ming-3.0 语音系列,包含 TTS、ASR 及音频理解共五款模型。该系列引入“导演模式”以精细控制语音合成情绪与节奏,并优化了长音频的结构化理解能力,已在支付宝等内部业务落地。开发者可自由组合不同模块构建工作流。
Google DeepMindT1·基座大模型
68 分
Google 推出 Gemini 3.8 Flash TTS 和 Flash-Lite TTS,这是其最具表现力的音频生成模型。新模型支持通过自然语言提示创建或复制自定义角色声音,并能逐行控制语速、情感及对话节奏,适用于有声书、播客及实时语音代理等场景。
Qwen 官方博客 (通义)T1·基座大模型
78 分
阿里 Qwen 团队推出 Qwen3-TTS-VD-Flash(音色设计)和 Qwen3-TTS-VC-Flash(音色克隆)两款新模型。前者支持通过自然语言指令精细调控音色、情感与人设,后者实现 3 秒级多语言音色克隆。基准测试显示其在 InstructTTS-Eval 和多语言 WER 指标上优于 GPT-4o-mini-tts 及 ElevenLabs 等竞品。
OpenAI 官方博客T1·基座大模型
68 分
OpenAI 公开了内部模型 Voice Engine 的初步测试结果,该模型仅需 15 秒音频样本和文本输入即可生成高度逼真的定制语音。尽管技术已用于驱动 ChatGPT 预设声音,但出于对深度伪造等滥用风险的担忧,OpenAI 决定暂缓全面发布并寻求监管对话。这一披露展示了小参数模型在情感表达与音色还原上的显著突破。