Hugging Face Blog · 2026/10/21 22:58:18
IBM Granite Speech 5.0 发布 提升转录翻译精度与速度
IBM 推出 Granite Speech 5.0，这是一款开源语音模型系列，旨在通过改进架构显著提升语音转录、翻译及说话人归属的准确性与处理速度。该版本支持多种语言场景，并建议配合 Granite Guardian 用于生产环境的风险检测，为开发者提供了更高效的语音 AI 基础组件。
报道全文原始报道全文
本文目录5 个章节
Granite Speech 5.0：更准确、更快速的转录、翻译与说话人归属
George Saon gsaon ibm-granite Brian Kingsbury bedkingsbury ibm-granite Ron Hoory rhoory ibm-granite Vishal Sunder vishalsunder ibm-granite Zvi Kons konszvi ibm-granite Jeff Kuo ibm-jeffkuo ibm-granite Samuel Thomas sthomas12 ibm-granite Avihu Dekel Avihu ibm-granite Hagai Aronowitz hagaia ibm-granite Takashi Fukuda fukuda1 ibm-granite Tohru Nagano tohru3 ibm-granite Sashi Novitasari sasnov ibm-granite Masayuki Suzuki szuk ibm-granite Madison Lee kristunlee ibm-granite
我们很高兴分享 IBM Granite Speech 系列的三项更新：一款全新的语音语言模型 granite-speech-5.0-2b，以及社区已在使用的两款模型的修订版本 granite-speech-5.0-470m-turboctc 和 granite-speech-4.1-2b-plus。它们共同覆盖了企业级语音工作的全场景：高精度转录与翻译、边缘端极速转录，以及在录音中“谁在何时说了什么”与“说了什么”同样重要的场景。
| 模型 | 状态 | 新特性 | 最佳适用场景 |
|---|---|---|---|
granite-speech-5.0-2b | 新增 | 更准确的自动语音识别 (ASR)，具备抗噪声和混响能力，支持语言 ID 提示、2,000 个关键词偏置，长文本翻译性能提升 | 高精度多语言转录与翻译 |
granite-speech-5.0-470m-turboctc | 更新 | 多语言支持，原生标点符号和大写处理，对噪声和混响更具鲁棒性 | 高吞吐量及端侧转录 |
granite-speech-4.1-2b-plus | 更新 | 改进的说话人归属、时间戳、关键词偏置以及长语音处理能力 | 会议、通话及其他多说话人录音 |
Granite Speech 5.0 2B：更精准、更鲁棒、更可控
granite-speech-5.0-2b 是 granite-speech-4.1-2b 在相同参数规模下的继任者。它支持英语、法语、德语、西班牙语、葡萄牙语和日语的转录，并支持上述语言与英语之间的互译，此外还支持英语到意大利语和中文（普通话）的翻译。该模型基于 390,000 小时的公开音频数据训练，并结合了专为日语 ASR、关键词偏置和翻译任务构建的合成数据。
相较于 4.1 2B Speech 的新特性包括：
- 更准确、更鲁棒的英语 ASR： 在英语短文本基准测试中准确率更高，并能更好地处理噪声、混响以及远场麦克风采集的语音。
- 语言 ID 提示： 通过在提示词中指定输入语言，引导多语言转录过程。
- 更优的长文本和对话式翻译： 在处理较长内容时保持翻译质量，且生成的语音更加自然，而不仅仅是针对短句朗读进行优化。
- 支持多达 2,000 个术语的关键词列表： 在所有支持的语言中，通过关键词偏置引导转录和翻译结果，使其更倾向于产品名称、人名和缩写。
- 按需生成标点和大小写： 可在提示词中请求格式化输出；在我们的测试集上，大写处理的 F1 分数范围为 89.7 至 99.5。
该模型以 Apache 2.0 许可证发布，并在 Transformers、vLLM、llama.cpp 以及适用于 Apple Silicon 的 mlx-audio 中获得支持。
图 1：granite-speech-5.0-2b 在顶级开源权重 ASR 模型的平均英文词错误率（WER）中排名第二（5.06%）。数值越低越好。结果为非官方数据，截至 2026 年 10 月 15 日，基于 Open ASR Leaderboard 的公开英文短语音测试集平均值计算。
Granite Speech 5.0 Turbo CTC：现已支持多语言、更鲁棒且速度更快
当我们在 8 月推出 Turbo CTC 时，它是一个仅支持英语、拥有 4.7 亿参数的编码器，专为速度而设计。此次更新保持了原有的规模，并增加了用户最迫切需要的三项功能：
- 多语言转录： 支持英语、日语、西班牙语、德语、法语、意大利语和葡萄牙语。
- 原生标点与大小写处理： 生成的转录文本可直接阅读，无需单独的标点恢复或大小写转换步骤。
- 在复杂声学环境下更具鲁棒性： 针对混响音频进行的显式训练使 Turbo CTC 在回声较大的房间和远场录音中表现更加稳健。
它的速度也更快了。通过编译单个 Conformer 块并在整个堆栈中复用其计算图，我们减少了预热时间，并将 Turbo CTC 在 Open ASR Leaderboard 上的实时因子（RTFx）提升至 19,870，相比发布时的约 12,600 RTFx 提高了约 1.6 倍，同时保持了相同的准确率水平。
图 2：Open ASR Leaderboard 上的平均 WER 与 RTFx 对比（英文短语音，9 个公开测试集，截至 2026 年 10 月）。WER 越低、RTFx 越高越好；RTFx 采用对数刻度。
Granite Speech 4.1 2B Plus：更好地识别“谁说了什么”以及“何时说的”
更新后的 granite-speech-4.1-2b-plus 专门针对企业实际拥有的录音场景进行了调优：包括会议、客服通话以及多位说话人参与的长时间访谈。它保留了 4.1 的名称，因为架构、提示格式和 API 均未改变，因此它是当前模型的直接替换版本，但权重得到了改进。此次更新在以下四个方面有所提升：
- 说话人归属： 更准确地标记说话人身份。词级说话人分离错误率（WDER）降低了 7%，带说话人归属的词错误率（cpWER）整体降低了 7%。
- 时间戳： 平均时间戳偏移量（AAS）减少了一半以上，从而在字幕、搜索和审核中提供更精确的时间对齐。
- 长语音性能： 在长语音测试集上的 WER 降低了 24%。
- 关键词偏置： 在使用包含 20 个术语的关键词列表时，偏置关键词的错误率下降了 45%。
表 1：所有指标均为错误率，因此数值越低越好。如需更详细的结果，请参阅 model card。
快速开始
不确定该选择哪个模型？请从这里开始：
- 需要高转录准确率、翻译或关键词偏置？ 请使用 granite-speech-5.0-2b。
- 需要极致速度或端侧转录？ 请使用 granite-speech-5.0-470m-turboctc，并尝试通过我们的 WebGPU 流式演示 在浏览器中使用。
- 处理会议或多说话人通话？ 请使用 granite-speech-4.1-2b-plus。
这些模型均以 Apache 2.0 许可证发布，并在 Transformers 中提供原生支持。完整的评估结果、架构细节、训练数据和使用示例均包含在每个模型的 model card 中。对于需要额外风险检测的生产环境部署，我们建议将其与 Granite Guardian 配合使用。
欢迎试用并告诉我们您的看法！