Reson8 开源 0.5B 语音识别模型 覆盖 40 多种语言

原标题:Rumble-2-Flash: an open 0.5B speech model for 40+ languages
72AI 研判分

Reson8 以 Apache 2.0 协议开源 Rumble-2-Flash,这是一个仅 0.5B 参数的语音识别模型,覆盖 40 多种语言并支持自动语种检测,官方称其可与体积大 3 至 60 倍的模型竞争。模型原生支持 Transformers 与 vLLM,一小时音频约半秒即可处理完毕,并提供数字格式、填充词、逐字重复与强制语种等输出控制能力。

报道正文

本文目录8 个章节

返回文章列表

Rumble-2-Flash:一个面向 40 多种语言的开源 0.5B 语音模型

发布于 2026 年 11 月 18 日 在 GitHub 上更新 点赞 3

文本
 [Reson8 reson8-thomas 关注](https://huggingface.co/reson8-thomas)  [Reson8](https://huggingface.co/Reson8)  [Mark 't Hart MarktHart 关注](https://huggingface.co/MarktHart)  [Reson8](https://huggingface.co/Reson8)  [Eustache Le Bihan eustlb 关注](https://huggingface.co/eustlb)   [Eric Bezzam bezzam 关注](https://huggingface.co/bezzam)       

今天我们以 Apache 2.0 许可证开源 Rumble-2-Flash。这是一个拥有 0.5B 参数的语音识别模型,支持 40 多种语言,可与规模为其 3 至 60 倍的模型相竞争。

  • 随处可运行:原生支持 🤗 Transformers 和 vLLM,无需自定义代码
  • 40 多种语言:自动语言检测
  • 输出控制:数字以阿拉伯数字或单词形式输出、填充词、逐字重复、强制指定语言
  • 极速:一小时的音频约半秒即可处理完成,完整批次下 RTFx 超过 7,000
  • 在真实电话通话中依然稳健:在 302 小时的呼叫中心基准测试中,与 NVIDIA 的 Nemotron 3.5 Transcribe(30B)不相上下

快速开始

BASH
uv pip install torch transformers accelerate
PYTHON
from transformers import AutoProcessor, AutoModelForMultimodalLM

model_id = "Reson8/Rumble-2-Flash"
processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForMultimodalLM.from_pretrained(model_id, device_map="auto")

inputs = processor.apply_transcription_request(
    audio="https://hf.co/datasets/hf-internal-testing/dummy-audio-samples/resolve/main/bcn_weather.mp3",
    language="English",  # omit to detect automatically
).to(model.device, dtype=model.dtype)

output = model.generate(**inputs, max_new_tokens=512)
generated = output[:, inputs["input_ids"].shape[-1]:]
print(processor.decode(generated, return_format="transcription_only")[0])  # return_format="parsed" if detecting language

audio 可接受本地路径、URL、NumPy 数组,或这些形式的列表。

构建方式

Rumble-2-Flash 采用 Qwen3-ASR 架构,以实现首日支持。只要你的技术栈运行 Transformers 或 vLLM,就能运行 Rumble-2-Flash,无需分叉的运行时,也无需 trust_remote_code。

为了弄清模型在准确率下降前能缩小到什么程度,我们通过同策略蒸馏将我们更大的生产模型 Rumble-2 蒸馏到其中。学生模型并不在教师模型撰写的转录文本上训练。它自己转录音频,教师模型则对该转录逐 token 打分:在每个位置,教师模型给出自己对下一个应出现内容的概率,学生模型则学习去匹配它。由于学生模型从自己的输出中学习,它会在自己实际犯的错误上得到纠正,并且每个 token 都有反馈,而不是每个音频片段只得到一个分数。

同策略蒸馏通常要求教师模型和学生模型共享同一个分词器,而我们的模型并不共享:选择 Qwen3-ASR 就意味着也要采用它的词表。GOLD 消除了这一限制。它会在两个分词器对文本切分方式不同的地方合并 token,从而让两个模型在同一段文本上进行比较。两个词表中都存在的 token 直接比较,其余 token 则按其排序后的概率进行比较。

使用 GOLD 进行同策略蒸馏:学生模型转录,教师模型对每个 token 打分,GOLD 对齐两个分词器

使用 GOLD 进行同策略蒸馏:学生模型转录,教师模型对每个 token 打分,GOLD 对齐两个分词器

使用 GOLD 进行同策略蒸馏

结果

同等规模下的准确率

在 Open ASR Leaderboard 的多语言赛道中,Rumble-2-Flash 在中文、德语、法语、意大利语、西班牙语、葡萄牙语、印地语、荷兰语和英语上的平均错误率为 6.96%。这优于 Meta 的 omniASR-LLM 7B——一个规模大 15 倍的模型,也领先于 Whisper large-v3。在英语赛道中,它的平均 WER 为 6.6%。

Open ASR Leaderboard 多语言赛道(含英语)上开源权重模型的平均错误率与模型规模对比

Open ASR Leaderboard 多语言赛道(含英语)上开源权重模型的平均错误率与模型规模对比

同等规模下的最佳成绩

速度

Rumble-2-Flash 同样很快。它的吞吐量取决于批次的填充程度:在 HF 的 Open ASR Leaderboard 中较大的数据集上,批次始终保持满载,它达到了 超过 7,000 RTFx。这相当于约半秒钟处理一小时的音频。

真实电话通话

干净的音频很容易。电话通话经过压缩且带有噪声,而且说话者的口音往往差异很大。在 AppTek 的呼叫中心基准测试(302 小时的服务热线通话,14 种英语口音,使用 AppTek 自己的脚本评分)上,Rumble-2-Flash 达到 7.86% WER,与 NVIDIA 的 Nemotron 3.5 Transcribe(30B)的 7.78% 相当。这明显领先于同一模型家族的 Qwen3-ASR 0.6B(8.7%),并接近 Qwen3-ASR 1.7B(7.4%)——后者是对比中唯一表现更好的模型。

AppTek 呼叫中心基准测试上的 WER

AppTek 呼叫中心基准测试上的 WER

真实电话通话,14 种英语口音

试用

权重已在 Hub 上发布:Reson8/Rumble-2-Flash。也可以通过我们的 API 使用。

我们非常好奇你会用它构建什么。欢迎在 Discussions 标签页 告诉我们你做了什么、喜欢什么,以及你希望在下一个版本中看到哪些改进。