Hacker News AI · 2026/10/21 00:02:07
Mistral 发布 Voxtral 3 支持多语言实时语音智能体
Mistral 推出 Voxtral 3，这是一套专为实时、多步对话设计的先进语音模型与 SDK。该方案整合了高精度转录、具备情感适应性的自然语音合成以及深度工具集成能力，旨在解决端到端语音智能体在听、想、说、做四个维度的协同难题。开发者可通过 Mistral 的欧盟托管 API 或自部署方式接入，以低延迟实现数据主权合规下的复杂工作流自动化。
报道全文原始报道全文
本文目录16 个章节
Voxtral 3 推出了一款前沿的语音代理 SDK 和业界领先的语音模型，专为支持 50 多种语言的实时多步对话而设计。它结合了精准的转录、具备情感适应性的自然语音合成以及深度的工具集成，以实现无缝的工作流自动化。通过 Mistral 托管于欧盟的 API 或自部署方式提供，它在确保数据主权的同时，为呼叫中心、虚拟助手和免提副驾驶提供了低延迟、类人化的交互体验。
虽然语音转录和语音生成技术已取得长足进步，但构建能够倾听、推理、交互并处理复杂工作流的端到端语音代理仍然充满挑战。
一个可靠的语音代理需要同时出色地完成以下四项任务：
- 精准倾听，跨越不同语言、口音、说话者及打断场景；
- 深度推理，准确理解用户在特定语境下的真实意图；
- 自然表达，以富有情感和表现力的方式进行语音输出；
- 执行操作，通过连接的系统进行多步骤行动。
在实时环境中让这四项功能可靠地协同工作，依然是一项重大挑战。
为解决这一问题，我们推出了 Voxtral 3：这是一系列全新的业界领先 语音转文本 和 文本转语音 模型，并配套推出一款语音代理 SDK，将倾听、思考、工具调用和语音输出整合到一个单一的实时流式管道中。
Voxtral 3 旨在打造自然的对话体验，应用场景涵盖呼叫中心代理、服务台、虚拟助手以及免提副驾驶等。凭借对数十种语言的支持、富有表现力的语音、复杂的推理能力以及与自有工具和数据的深度集成，基于 Voxtral 构建的代理能够解读细微的用户意图，对复杂请求进行推理，并在互联系统中执行多步操作。
与其他 Mistral 模型一样，Voxtral 3 系列专为主权部署而设计。目前可通过 Mistral 托管于欧盟的 API 使用，也可在用户自有基础设施上进行自部署，从而让组织掌控音频处理的位置、数据处理的方式以及对话是否被保留。
亮点
- 覆盖 50+ 种语言的高精度转录。语音转文本模型 Voxtral Small Transcribe 3 在多语言转录领域处于前沿水平，能够识别说话人身份（说话人分离），并利用关键短语提升准确率（上下文偏置）。它能检测用户何时结束发言，使智能体能够即时响应（轮次结束检测）。
- 适应对话情境的自然语音。文本转语音模型 Voxtral Mini TTS 3 引入了全新音色，可根据对话语境动态调整情感、语速和重音，支持 35+ 种语言和 50+ 种方言。
- 听令即动的类人智能。全新的语音智能体 SDK 将聆听、推理、工具调用和发声整合为实时体验。智能体可在电话或网页的实时对话中检索信息、与业务系统交互并完成任务。
- Pro Voice：实现极致精准的语音适配。针对基础声音克隆无法满足的专业场景，Voxtral 的 Pro Voice 适配功能仅需 30 分钟音频，即可跨语言复现说话人的独特个性、情感范围和说话风格。
- 部署于自有基础设施的语音 AI。使用 Mistral 托管于欧盟的 API，或将 Voxtral 3 部署在您自己的基础设施上。确保敏感对话保留在您的环境中，并自主控制是否保留任何音频数据。
听懂 50+ 种语言，具备顶尖准确率。
Voxtral Transcribe 3 在转录、说话人分离（谁在何时发言）以及上下文偏置能力方面标志着重大突破。其支持的语言列表扩展至 50 种，包括 24 种欧盟官方语言以及许多低资源亚洲和印度语系语言。
Small 版本在说话人分离和多语言转录方面取得了业界领先的结果，涵盖英语、法语和西班牙语。其性能优于 Whisper、Scribe v2 和 Gemini 3.5 Transcribe。Mini 变体 拥有 4B 参数，能以 $0.0035/分钟的价格实现快速且准确的转录。
两款模型均支持上下文偏置（context biasing），即通过提供关键术语和自由格式文本来引导转录过程，从而提高对专业术语的召回率。这使得它们能够在无需微调的情况下，利用领域特定词汇应用于生产环境。
FLEURS 45：强制指定 vs 自动推断
词错误率（Word Error Rate）——越低越好
- 强制指定
- 自动推断
在 FLEURS 基准测试中，针对所有七个模型共同支持的 45 种语言的交集计算宏平均 WER。除日语、韩语、泰语和中文使用字符错误率（CER）外，其他语言均使用 WER。数值越低越好。
强制指定 = 明确指定语言；自动推断 = 自动检测语言。涉及语言包括：AR, BN, BG, CA, ZH, CS, DA, NL, EN, ET, FI, FR, DE, EL, GU, HI, HU, IS, ID, IT, JA, KN, KO, LV, LT, MK, MS, ML, MR, NO, FA, PL, PT, RO, RU, SK, SL, ES, SV, FIL, TE, TH, TR, UK, VI
说话人分离（Diarization）
拼接最小置换词错误率（Concatenated Minimum Permutation WER）——越低越好
在公开可用的说话人分离基准测试（AMI-IHM、AMI-SDM、Switchboard、Switchboard CallHome、AISHELL-4）上计算的宏平均拼接最小置换 WER（cpWER）。为确保 API 基线的最大兼容性，我们使用了 AMI 和 AISHELL 的 30 分钟版本数据集。数值越低越好。
说话人分离基准测试中的拼接最小置换词错误率（cpWER）。
关键短语召回率（Keyphrase Recall）
有无上下文提示对比——越高越好
- 无上下文
- 有上下文
Voxtral Small Transcribe 3 以品牌色高亮显示。基于 Earnings 22 基准测试的关键短语召回率。上下文偏置包含关键术语以及随机采样的干扰项，数量范围为 0 到 100。柱状图为叠加的绝对值——外层柱表示带上下文的召回率，内层柱表示不带上下文的召回率；可见的带状区域展示了上下文提示带来的提升幅度。数值越高越好。
关键短语召回率基准测试。上下文 = 提供给模型的领域特定词汇和说话人姓名。
Artificial Analysis 基准测试
词错误率（Word Error Rate）——越低越好
Artificial Analysis WER 指数，是 VoxPopuli、Earnings-22 和 AgentTalk 上的加权平均值。
数值越低越好。
Voxtral Realtime Transcribe 3 是一款专为智能体（agentic）用例构建的实时转录模型。它在超过 35 种语言中实现了低于 500ms 延迟的高质量转录，并支持说话人分离和上下文偏置功能。
FLEURS 35
实时转录词错误率——越低越好
35 种语言的宏平均词错误率（WER），数据源自 FLEURS 基准测试。除日语、韩语和中文使用字符错误率（CER）外，其余语言均使用 WER。数值越低越好。*Voxtral Mini Transcribe 3 为离线基线模型，其余模型均为实时模型。
语言：AR, BN, BG, CA, CS, NL, EN, ET, FI, FR, DE, EL, GU, HI, ID, IT, JA, KN, KO, LV, MK, MS, ML, MR, NO, FA, PL, PT, RO, RU, SK, ES, FIL, TE, TR
原生支持轮次结束预测，结合声学和语义信息，精准判断用户何时停止说话。这使得语音代理应用能够实现低延迟响应，同时最大程度降低因过早打断用户而导致的误截断率。
它以恰当的情感，用你或客户品牌专属的声音及地方方言进行回应。
Voxtral Mini TTS 3.0 提供批量处理和实时两种模式，在 35+ 种语言和 50+ 种方言中实现了最先进的表现力和指令遵循能力。每百万字符收费 13 美元，运行 Voxtral Speech 3 的成本低于 OpenAI TTS-1、Deepgram、ElevenLabs Flash 和 Gemini Flash 等同类模型。
该语音模型能更隐式地理解上下文的语义含义，从而生成涵盖多种情感和语言的自然人声。新增和改进的功能包括：基于 30+ 分钟采样音频的语音克隆、自定义提示指令遵循（IF）、上下文感知 TTS 以及词汇库，所有这些功能都旨在提升部署中的语音可靠性。显式 IF 变量包括 emotion（情感）、pacing（节奏）和 emphasis（重音）。
Prompt
Let's end the debate here: it's GIF.
Let's end the debate here. It's GIF.
Let's end the debate here. It's GIF.
Default
Non-standard phoneme hint: dʒ ɪ f
Prompt
Attends… Ce n’est pas possible. Ce tableau vient de Reims ? Mais alors… C’est celui que ma grand-mère cherchait depuis cinquante ans !
Attends, ce n'est pas possible? Ce tableau vient de Reims? Mais alors, c'est celui que ma grand-mère cherchait depuis 50 ans?
Attends, ce n'est pas possible? Ce tableau viend de Reims? Mais alors? C'est celui que ma grand-mère cherchait depuis 50 ans.
Default
Non-standard phoneme hint: ʁ e i m s
Prompt
Il nostro nuovo assistente si chiama Quivello.
Il nostro nuovo assistente si chiama Quivello.
Il nostro nuovo assistente si chiama Quivello.
Default
Non-standard phoneme hint: tʃ i v ɛ l l o
Prompt
Hallo! Ich bin Xyra, deine persönliche Assistentin.
你好，我是 Xyra，你的个人助手。
你好，我是 Xyra，你的个人助手。
默认
非标准音素提示：z aɪ ɹ ə
所有自然的语音都依赖于情感，这决定了其韵律、节奏、语速、重音和过渡。Voxtral TTS 能够原生解读提示词的文本上下文以确定情感和语音风格，使模型在无需额外指令或语音提示的情况下，天生更擅长生成自然语音。
Voice Code Bench：性价比（每美元质量）
由 BeSimple AI 创建的 Voice Code Bench 专注于与数字和独特名称相关的企业客户支持失败场景。
- 其他 TTS
- Mistral
向左上方移动表示表现更好。
Voice Code Bench (BeSimple AI)：300 个英语提示词，每个系统 2 种声音（女声和男声）；评审模型为 gemini-3.8-flash；价格来自供应商定价页面；生成日期为 2026-10-20。
发音控制：性价比（每美元质量）
目标单词按其预期方式（包含其音素）正确发音的片段比例
- Mistral
- 其他 TTS
内部评估。向左上方移动表示表现更好。没有文档化发音控制的系统列在数据中，但未绘制在图表上。
300 个英语句子，每个句子包含一个罕见或虚构的单词（150 个简单，150 个困难），每个系统 2 种声音；评审模型 gemini-3.8-flash 会听到带有该单词预期 IPA 的片段；价格来自供应商定价页面；生成日期为 2026-10-20。
多语言：性价比（每美元质量）
跨 11 种语言的平均评审得分，每种语言和系统使用 1 种母语声音
- 其他 TTS
- Mistral
内部评估。向左上方移动表示表现更好。覆盖少于 11 种语言的系统列在数据中，但未绘制在图表上。
选定的发布用提示词共 377 个，涵盖 11 种语言，各语言平均评审得分的非加权平均值，评分范围为 1 到 5；评审模型为 gemini-3.8-flash；价格来自供应商定价页面；生成日期为 2026-10-20。
富有表现力的英语：性价比（每美元质量）
在 one_eval 上的平均评审得分，选定发布用的 237 个提示词
- 其他 TTS
- Mistral
内部评估。向左上方移动表示表现更好。
富有表现力的英语 (one_eval)：选定发布用的 237 个提示词，每个系统 2 种声音（Voxtral TTS：Sarah 和 James），评分范围为 1 到 5；评审模型为 gemini-3.8-flash；价格来自供应商定价页面；生成日期为 2026-10-20。
展示 Voxtral 在表现力、数字和独特名称方面的持续优化（爬山法）。
提示词
感谢您致电 Mistral！我了解到您在登录 AI Studio 时遇到了困难。我可以确认一下您的电子邮件地址吗？我这里记录的是 [email protected]，对吗？
感谢您致电 Mistral。我了解到您在登录 AI Studio 时遇到了困难。我可以确认一下您的电子邮件地址吗？我这里记录的是 elena.vance82 @ yahoo.com。对吗？
感谢您致电 Mistral。我了解到您在登录 AI Studio 时遇到了困难。我可以确认一下您的电子邮件地址吗？我这里记录的是 elena.vance82 @ yahoo.com。对吗？
Voxtral 1
Voxtral 3
提示
天哪，这真快啊，我已经为您即将到来的旅行找到了一趟航班。阿联酋航空的航班怎么样？10月10日 21 出发，10月25日 22 返回，票价 £1881？您一句话，我现在就为您预订靠窗座位。
天哪，这真快啊。我已经为您即将到来的旅行找到了一趟航班。阿联酋航空的航班怎么样？10/10 21,000pm 出发，10/25 22,000pm 返回，票价 £1,881？您一句话，我现在就为您预订靠窗座位。
天哪，这真快啊。我为您即将到来的旅行找到了一趟航班。阿联酋航空的航班怎么样？10月10日 21pm 出发，10月25日 22pm 返回，票价 £1,881？您一句话，我现在就为您预订靠窗座位。
Voxtral 1
Voxtral 3
提示
哇，我不敢相信你要怀孕了！这太令人兴奋了，恭喜你 Corina，我真为你高兴！
哇，我不敢相信你要怀孕了。这太令人兴奋了。恭喜你，Karina。我真为你高兴。
哇，我不敢相信你要怀孕了。这太令人兴奋了。恭喜你，Karina。我真为你高兴。
Voxtral 1
Voxtral 3
提示
你说我的护照这周办不完是什么意思——我已经告诉过你们好几次了，我需要去巴黎出差。这太荒谬了。我简直无法形容这件事有多让人恼火。
你说我的护照这周办不完是什么意思？我已经告诉过你们好几次了，我需要去巴黎出差。这太荒谬了。我简直无法形容这件事有多让人恼火。
你说我的护照这周办不完是什么意思？我已经告诉过你们好几次了，我需要去巴黎出差。这太荒谬了。我简直无法形容这件事有多让人恼火。
Voxtral 1
Voxtral 3
支持本地语音识别，涵盖 35 种语言和 50 多种方言。
Voxtral TTS 支持超过 35 种语言及地区方言。我们的多语言评估严格遵循发音、正式与非正式语域、拼写、冗长程度以及区域惯例（时间、日期、温度、地址、货币）等方面的方言差异。
Voxtral 3 多语言库
语音预设涵盖 18 种语言：阿拉伯语（阿联酋方言、现代标准阿拉伯语）、巴西葡萄牙语、加泰罗尼亚语、中文（普通话）、荷兰语、英语（美式、英式）、法语（法国）、德语、希腊语、印地语、意大利语、韩语、挪威语、俄语、西班牙语（西班牙）和越南语。
语音代理掌控整个对话流程。
Voxtral 3 推出了基于 LiveKit 构建的语音代理 SDK，将语音输入、推理和语音输出整合为一条流式处理管线。Voxtral Mini Transcribe Realtime 3 负责监听并检测呼叫者何时结束发言，通用模型——如 Mistral Small——进行推理并调用工具，而 Voxtral Speech 3 则根据当前对话的语气生成回复。各阶段无需等待前序步骤完成，因此每一轮交互均可在不到一秒内完成，且当呼叫者插话时，代理会立即停止说话。
在通话过程中，代理可以通过函数调用、网络搜索以及对您自有系统的检索来验证呼叫者身份、查询账单或预约服务。它通过 SIP 接听和拨打电话，通过 WebRTC 在浏览器和应用中运行，并能与您现有的电话系统、IVR（交互式语音应答）和联络中心软件无缝对接。
每个阶段均由独立的模型构成，因此您可以更换 LLM、语音或语言，而无需重写代理逻辑，并且可以在 Mistral 位于欧洲的 API 上或您自己的基础设施上运行整个技术栈。
开始使用。
Voxtral 3 现已通过 Mistral API 上线，提供欧洲、美国及全球端点托管服务。
您可以在 Studio 体验区测试语音代理、音频转录、语音生成和语音克隆功能。
| 模型 | 价格 |
|---|---|
| Voxtral Mini Transcribe 3（批量处理） | $0.0035/分钟 |
| Voxtral Mini Transcribe Realtime 3 | $0.008/分钟 |
| Voxtral Small Transcribe 3 | $0.0040/分钟 |
| Voxtral Speech 3（批量处理和实时处理，同一 API） | $13/百万字符 |
若要在本地部署或私有云中运行完整技术栈，请联系我们的团队。
Voxtral Small Transcribe 3
新
精度最高的语音转写模型。提供业界领先的多语言转写与说话人分离功能，支持 50 多种语言及上下文偏置（context biasing）。
转写
音频
$0.004
/分钟
Voxtral Mini Transcribe 3
新
高效、低延迟的语音转写模型。支持 50 多种语言的转写、说话人分离及上下文偏置。
转写
音频（批量）
$0.0035
/分钟
Voxtral Mini Transcribe Realtime 3
专为智能体（agentic）用例打造的实时转写模型，在 40 多种语言中实现低于 500ms 延迟的高质量转写。
转写
音频
$0.008
/分钟
Voxtral Speech 3
在 35 多种语言和 50 多种方言中，具备业界领先的表达力与指令遵循能力
语音
输入
$13
/1M 字符
0%