Reson8 开源 0.5B 语音识别模型 覆盖 40 多种语言
Reson8 以 Apache 2.0 协议开源 Rumble-2-Flash,这是一个仅 0.5B 参数的语音识别模型,覆盖 40 多种语言并支持自动语种检测,官方称其可与体积大 3 至 60 倍的模型竞争。模型原生支持 Transformers 与 vLLM,一小时音频约半秒即可处理完毕,并提供数字格式、填充词、逐字重复与强制语种等输出控制能力。
报道正文
本文目录8 个章节
Rumble-2-Flash:一个面向 40 多种语言的开源 0.5B 语音模型
发布于 2026 年 11 月 18 日 在 GitHub 上更新 点赞 3
[Reson8 reson8-thomas 关注](https://huggingface.co/reson8-thomas) [Reson8](https://huggingface.co/Reson8) [Mark 't Hart MarktHart 关注](https://huggingface.co/MarktHart) [Reson8](https://huggingface.co/Reson8) [Eustache Le Bihan eustlb 关注](https://huggingface.co/eustlb) [Eric Bezzam bezzam 关注](https://huggingface.co/bezzam) 今天我们以 Apache 2.0 许可证开源 Rumble-2-Flash。这是一个拥有 0.5B 参数的语音识别模型,支持 40 多种语言,可与规模为其 3 至 60 倍的模型相竞争。
- 随处可运行:原生支持 🤗 Transformers 和 vLLM,无需自定义代码
- 40 多种语言:自动语言检测
- 输出控制:数字以阿拉伯数字或单词形式输出、填充词、逐字重复、强制指定语言
- 极速:一小时的音频约半秒即可处理完成,完整批次下 RTFx 超过 7,000
- 在真实电话通话中依然稳健:在 302 小时的呼叫中心基准测试中,与 NVIDIA 的 Nemotron 3.5 Transcribe(30B)不相上下
快速开始
uv pip install torch transformers acceleratefrom transformers import AutoProcessor, AutoModelForMultimodalLM
model_id = "Reson8/Rumble-2-Flash"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(model_id, device_map="auto")
inputs = processor.apply_transcription_request(
audio="https://hf.co/datasets/hf-internal-testing/dummy-audio-samples/resolve/main/bcn_weather.mp3",
language="English", # omit to detect automatically
).to(model.device, dtype=model.dtype)
output = model.generate(**inputs, max_new_tokens=512)
generated = output[:, inputs["input_ids"].shape[-1]:]
print(processor.decode(generated, return_format="transcription_only")[0]) # return_format="parsed" if detecting languageaudio 可接受本地路径、URL、NumPy 数组,或这些形式的列表。
构建方式
Rumble-2-Flash 采用 Qwen3-ASR 架构,以实现首日支持。只要你的技术栈运行 Transformers 或 vLLM,就能运行 Rumble-2-Flash,无需分叉的运行时,也无需 trust_remote_code。
为了弄清模型在准确率下降前能缩小到什么程度,我们通过同策略蒸馏将我们更大的生产模型 Rumble-2 蒸馏到其中。学生模型并不在教师模型撰写的转录文本上训练。它自己转录音频,教师模型则对该转录逐 token 打分:在每个位置,教师模型给出自己对下一个应出现内容的概率,学生模型则学习去匹配它。由于学生模型从自己的输出中学习,它会在自己实际犯的错误上得到纠正,并且每个 token 都有反馈,而不是每个音频片段只得到一个分数。
同策略蒸馏通常要求教师模型和学生模型共享同一个分词器,而我们的模型并不共享:选择 Qwen3-ASR 就意味着也要采用它的词表。GOLD 消除了这一限制。它会在两个分词器对文本切分方式不同的地方合并 token,从而让两个模型在同一段文本上进行比较。两个词表中都存在的 token 直接比较,其余 token 则按其排序后的概率进行比较。


使用 GOLD 进行同策略蒸馏
结果
同等规模下的准确率
在 Open ASR Leaderboard 的多语言赛道中,Rumble-2-Flash 在中文、德语、法语、意大利语、西班牙语、葡萄牙语、印地语、荷兰语和英语上的平均错误率为 6.96%。这优于 Meta 的 omniASR-LLM 7B——一个规模大 15 倍的模型,也领先于 Whisper large-v3。在英语赛道中,它的平均 WER 为 6.6%。


同等规模下的最佳成绩
速度
Rumble-2-Flash 同样很快。它的吞吐量取决于批次的填充程度:在 HF 的 Open ASR Leaderboard 中较大的数据集上,批次始终保持满载,它达到了 超过 7,000 RTFx。这相当于约半秒钟处理一小时的音频。
真实电话通话
干净的音频很容易。电话通话经过压缩且带有噪声,而且说话者的口音往往差异很大。在 AppTek 的呼叫中心基准测试(302 小时的服务热线通话,14 种英语口音,使用 AppTek 自己的脚本评分)上,Rumble-2-Flash 达到 7.86% WER,与 NVIDIA 的 Nemotron 3.5 Transcribe(30B)的 7.78% 相当。这明显领先于同一模型家族的 Qwen3-ASR 0.6B(8.7%),并接近 Qwen3-ASR 1.7B(7.4%)——后者是对比中唯一表现更好的模型。


真实电话通话,14 种英语口音
试用
权重已在 Hub 上发布:Reson8/Rumble-2-Flash。也可以通过我们的 API 使用。
我们非常好奇你会用它构建什么。欢迎在 Discussions 标签页 告诉我们你做了什么、喜欢什么,以及你希望在下一个版本中看到哪些改进。