Nvidia 开源 Nemotron 3.5 转录模型 支持 40 种语言

作者:Julie Bort原标题:Voice AI in vogue: Nvidia releases new open transcription model
78AI 研判分

Nvidia 发布开源语音转录模型 Nemotron 3.5,支持 40 种语言及 31 种语言的英译互转。该模型拥有 300 亿参数,可在单芯片上运行,并具备长音频处理与多说话人分离能力,旨在降低开发者构建会议与医疗转录应用的门槛。

报道正文

Nvidia 于周三发布了 Nemotron 3.5 Transcribe,这是一款免费、开放权重的模型,支持最多 40 种语言的音频转录。同时,该公司还发布了其开源语音数据集 Granary 的第二版。

Nvidia 宣称 Nemotron 3.5 能够实现 31 种语言与英语之间的双向翻译,处理长达一小时的录音,并区分多达八位说话者。该模型声称在包括 Hugging Face 的 Open ASR Leaderboard 在内的基准测试中超越了竞争对手。

这些工具主要面向开发商务会议和医疗转录应用开发者——这两大领域是 AI 在职场中最成熟的切入点。Nvidia 表示,开发者可以利用该模型、更新后的 Granary 数据集以及 NeMo Speech 等工具,定制应用以识别各行业在不同语言中的专业术语。不过存在一个局限:Transcribe 仅适用于录制好的音频,不支持直播流。

尽管如此,公司承诺拥有 300 亿参数的 Transcribe 可在单颗芯片上运行,从用于新笔记本电脑的 Jetson AGX Thor 机器人控制器和 DGX Spark 芯片 驱动的新笔记本,到 Blackwell 数据中心芯片均能胜任。它加入了 Nvidia 的开放权重语音模型家族,其中包括小巧却 强大的 Parakeet(11 亿参数)。

Nvidia 此次发布语音模型正值 AI 语音技术密集推出之际:Mistral 本月早些时候推出了 Voxtral 3;ElevenLabs 发布了 Realtime,以实现语音代理中的即时对话;Salesforce 也推出了其语音模型 Launa-Omni。