强化语言判别缩小多模态语音模型差距
原标题:Language Discrimination Improves Linguistic Learning in Multilingual Speech Models
68AI 研判分
研究表明,在预训练阶段增强语言判别能力可显著缩小多语言语音模型与单语模型的性能差距。通过引入辅助分类器和按语言聚类目标,HuBERT 模型在音素、词汇及韵律任务上的表现均得到提升,且早期干预效果最佳。
报道正文
多语言自监督语音模型可以通过跨语言共享信息获益,但在总预训练数据量匹配的情况下,其性能仍不及单语言模型。我们表明,在预训练阶段增强模型的语言判别能力,可以在连续音素和更高层级语言学指标上缩小甚至消除这一多语言差距,同时保留大量的跨语言信息共享。在受控的英语/法语 HuBERT 设置中,我们测试了两种旨在强化语言判别的干预措施:辅助语言分类器和按语言划分的 k-means 目标。在所有干预措施下,连续特征音素判别错误率(phone-ABX,↓)从双语基线的 11.6% 降至 10.4%(单语言模型为 10.8%),而词汇性能(sWUGGY,↑)从 52.1% 提升至 56.7%(单语言模型为 58.5%),韵律性能(ProsAudit,词汇子任务,↑)从 68.9% 提升至 72.9%(单语言模型为 72.6%)。在 HuBERT 的各个训练阶段中,当语言判别机制在第一次迭代时引入时,大多数语言学指标上的提升最为显著;而在后续阶段或重复引入该机制则带来较小的改进,并伴随语言间隔离程度的增加。这些结果支持了语言判别在降低多语言学习额外成本方面所起的因果作用。
-
- 同等贡献