Descript 揭秘多语言视频配音工程化实践
Descript 通过重构翻译流水线,利用大模型推理能力解决视频配音中语义保真与时长适配的冲突。该方案将传统昂贵的人工翻译流程自动化,实现了高质量、大规模的多语言视频本地化部署。
报道正文
本文目录4 个章节
Descript(在新窗口中打开) 是一款 AI 原生的视频编辑器,其核心理念很简单:如果你能编辑文本,就应该能编辑视频。自 Descript 创立之初,AI 就驱动着产品的方方面面:转录、剪辑、音频清理以及日益复杂的创意工作流。多年来,他们一直基于 OpenAI 构建产品,使用 Whisper 进行转录,并在其协作编辑器 Underlord 中集成 GPT 系列模型。
翻译迅速成为一个高影响力的用例。传统上,视频翻译既缓慢又昂贵,需要语言专家来管理项目、制作机械化的翻译、处理质量控制并生成相应的音频。大语言模型(LLM)极大地压缩了这一工作流,使得大规模的高质量翻译成为可能。
字幕和配音都需要语义保真度:翻译必须保留原始含义。但时长契合度在两者中的作用不同。对于字幕而言,它只是锦上添花;而对于配音来说,它至关重要,因为如果翻译后的语音过长或过短,即使含义正确,听起来也会不自然。
为了解决这一问题,Descript 利用 OpenAI 的推理模型重新设计了其翻译流水线,旨在在生成过程中而非生成后优化语义保真度和时长契合度。在推出后的前 30 天内,带配音的翻译视频导出量增长了 15%,时长契合度根据语言不同提升了 13 到 43 个百分点。
“配音是 Descript 越来越受欢迎的用例,因此我们正在开发批量处理功能,以满足那些希望翻译整个视频库并进行口型同步的企业需求,”CEO Laura Burkhauser 表示。
配音开始暴露问题的地方
翻译是 Descript 最早且最受用户期待的功能之一。他们最初仅提供字幕翻译,效果不错——但许多用户希望更进一步,要求目标语言中的语音音频(即配音)。
然而,一个问题不断浮现:配音音频并不总是听起来自然。“我们听到的头号抱怨可能是,翻译语言中的语速显得不自然,”Descript AI 产品负责人 Aleks Mistratov 说道。
问题的根源在于,不同语言表达同一概念所需的时间各不相同。例如,Descript 观察到,平均而言德语比英语更“冗长”。为了适配固定的视频片段,翻译后的语音往往不得不被人为加速或减速。“最终的结果听起来要么像花栗鼠,要么像困倦的巨人,”Mistratov 解释道。
| 英语: | 德语: |
|---|---|
| “Please review the safety guidelines before operating the machine.” 音节数:18 | “Bitte überprüfen Sie die Sicherheitsrichtlinien, bevor Sie die Maschine bedienen.” 音节数:24(增加 40%) |
在这种情况下,德语音频要么必须不自然地加速,要么需要重写译文以符合时间预算。
用户只剩下两个选择:手动逐段重新调整音频时长,或者重写译文本身使其符合要求。这两种方法都需要对时间轴进行深度编辑,并且通常要求创作者具备接近母语水平的目标语言能力。这对创作者来说极其繁琐,也阻碍了该功能在大型企业本地化项目中的规模化应用。
优化译文的时序而非仅关注语义
团队对于如何让配音工作变得可行有着清晰的理论构想。系统不仅需要针对语义含义进行优化,还必须感知时序约束。例如,当从英语翻译成德语时,模型需要理解如何使用更少的词汇或简化概念,从而使配音音频保持自然。
早期的方法优先优化语义保真度,然后试图事后修正时序。这些译文通常在语义上是正确的,但经常无法满足时长限制,导致整体质量仍不够好。
“我们进行了增量测试,甚至没有生成任何内容,只是要求模型输出一段文本的音节数量,”Mistratov 说。“早期的模型在这方面表现很差。”
可靠的音节计数被证明至关重要。如果模型无法一致地计算音节,它就无法可靠地瞄准特定的时长窗口。
GPT‑5 系列模型带来了早期模型所缺乏的推理一致性,特别是在音节计数和约束跟踪等任务上。凭借这一改进,Descript 重新设计了其翻译和配音流程。
首先,Descript 的系统会将转录文本切分为若干块(chunks),切分依据包括句子边界、自然停顿以及原始录音中的说话模式。每个块都保持语义连贯性,同时其粒度足够小,便于作为时间单位进行推理处理。
在此基础上,模型会计算该文本块中的音节数量。系统利用特定语言的语速假设,估算翻译后的文本块应针对多少音节进行优化,以保持自然的节奏感(即“时长贴合度”,duration adherence)。提示词要求模型在优化时长贴合度的同时兼顾意义保留。系统将相邻的文本块作为上下文传入,以确保跨片段的语义连贯性。
团队评估了多种配置,以平衡时长贴合度、语义保真度、延迟和成本。最终选定的方案在生产速度下展现出强大的约束遵循能力,实现了无需人工重新对齐时间轴的大规模翻译。由此打造的翻译流水线将节奏控制视为一等变量(first-class variable),而非事后修正项。
定义与衡量自然节奏
为了制定评估测试的验收标准,团队进行了听测实验:他们生成翻译后的音频样本,并以微小增量调整播放速度,让用户对语音何时变得不自然进行评分。
Mistratov 表示:“放慢 10% 或加快 20%,通常听起来仍然很自然。”超出这个范围,语音就会显得过于失真。
早期系统在这一指标上表现不佳。根据语言不同,仅有 40% 到 60% 的片段落在可接受的节奏窗口内。经过重新设计的流水线,这一比例提升至 73% 到 83% 之间,具体数值取决于目标语言。
团队还使用独立的“模型评判员”(model-as-judge)对语义保真度进行评估,评分范围为 1 分(“完全不同”)到 5 分(“语义等价”)。对于配音场景,他们决定接受比纯字幕翻译更低的语义阈值,因为在纯字幕翻译中时长约束并不重要。即便存在这种权衡,仍有 85.5% 的片段在语义贴合度上获得了 4 分或 5 分的评级。
最终成果是一个能够在两个相互竞争的约束条件——时间和意义——之间取得平衡,且具有可量化置信度的系统。由于这两项指标均实现了自动化评估,Descript 能够持续地将新发布的模型和提示词变体与相同的基准进行测试对比。
解锁大规模视频本地化
随着翻译工作从单个视频扩展到大型内容库,Descript 正在为翻译调优提供更多控制选项,包括在必要时优先确保更严格的语义保真度。
Descript 内部的翻译只是其更广泛多模态系统中的一个环节。翻译后的文本会输入到语音生成模块,进而驱动唇形同步和最终的视频渲染。
文本层的改进使得自然的节奏成为可能,但整体体验还取决于音频模型在多大程度上能够保留语音的语调、韵律和非语言特征。这正是团队眼中的下一个前沿领域。
“提升翻译输出质量的关键在于让流程更加多模态化:在决定如何翻译时,将音频、视频和文本结合起来考虑,”Mistratov 表示。“这应该能更好地保留语音的非语言特征,如语调和重音,并更多地保留原始的演绎方式。”
对于 Descript 而言,更强的推理模型使得配音工作的复杂性变得可控。当模型跨越了能够可靠地在节奏与含义之间权衡取舍的阈值后,翻译就变成了一个团队可以系统性优化并大规模部署的任务。