AI Video Generation Still Relies on Trial and Error, Ten Attempts per Usable Clip
AI video generation is fast, but creators often need roughly ten attempts to get one satisfactory clip, and this repeated trial-and-error drives model-call, screening and rework costs. Tencent Cloud and peers point to a missing structured layer between scripts and generation models, with shot control, character consistency and editability remaining the main barriers to commercial delivery; the industry is turning to agent orchestration to connect generation, processing and revision.
Full Report
Contents4 sections
作者|林绮蓓
编辑|蔡芳芳
用 AI 生成一段视频,可能只需要几分钟。但要让它真正符合创作者的要求,往往还得一遍遍地尝试。在 AI 视频制作中,这种反复生成、筛选的过程被形象地称为**“抽卡”**。
腾讯云 WAND 多模态应用负责人朱琳在采访中提到:按照行业经验,制作一部 AI 短漫剧,从分镜到成片,过程中可能需要大约十次生成尝试,才能得到一次满意的效果。这种落差并不仅仅发生在视频领域,它揭示了当下 AI 创作中统一的现实矛盾:AI 生成内容的速度越来越快,创作者却未必能同样快速地获得自己真正想要的作品。生成内容的门槛降低了,反复尝试的代价却不小。每一次“抽卡”,不仅意味着额外的模型调用和等待,还可能带来人工筛选、修改和返工成本。

在 10 月 30 日举行的腾讯全球数字生态大会多模态应用专场及会后的媒体采访中,来自腾讯云、智象未来等企业的嘉宾,围绕这一问题分享了各自在实际内容生产中遇到的困难与技术探索。
AI 能生成好画面,为什么还是难以一次性交付?
在电商领域,商家常常需要借助 AI 为商品更换背景、调整光影,同时确保商品的形状、颜色和品牌标识不发生改变。此外,同一件商品还需要生成主图、卖点图、场景图等多种素材。这意味着,模型不仅要生成符合要求的画面,还要在批量生成过程中保持商品特征的准确性和一致性。
视频制作则更复杂。单个镜头可能已经足够逼真,但放进连续叙事中,还需要保证角色形象、人物动作、空间关系和镜头衔接的一致性。一个镜头出现偏差,就可能影响前后内容的连续性。
今年 9 月发表的研究论文《Better Call CineCrew: Consistent Ultra-Long Narrative-to-Film Generation》也指出,长篇叙事视频生成仍然面临镜头级控制、跨片段视觉身份和角色行为一致性等挑战。研究者认为,现有基于提示词的工作流之所以容易出现问题,一个重要原因是剧本与视频生成模型之间缺少结构化的中间层,无法充分表达镜头、角色和连续性等约束。
换句话说,剧本描述了故事要发生什么,却未必明确规定摄像机如何运动、人物站在哪里、不同镜头之间哪些细节必须保持一致。这些信息如果没有在生成之前得到充分表达,创作者就可能只能在结果出来之后再反复修改。
腾讯云副总裁、媒体 AI 产品负责人李志成也在采访中提到,即使是行业头部的视频生成模型,在光影、物理规律较为复杂的影视场景中,仍存在尚未解决的问题。
这也意味着,商业生产对多模态模型的要求不再只是生成逼真的画面,还包括能否准确遵守指令、保持内容一致,并稳定产出符合要求的素材。否则,生成速度再快,也可能只是更快地制造出一批需要筛选和修改的素材。
十次生成才有一次满意,成本究竟花在哪里?
生成结果的不确定性,最终会转化为实际的时间和成本。
多模态模型通常按照调用次数、视频时长或输出规格计费,但单次生成价格并不能反映最终成品的成本。假设生成一次视频需要 10 元,平均十次才能得到一个可用镜头,仅生成费用就达到 100 元;如果可用率提高到 50%,理论上平均两次就能得到可用结果,费用降至 20 元。这还没有算上人工筛选、修改和后期处理的成本。因此,对于批量生产内容的团队,提高生成结果的可用率,与降低单次调用价格同样重要。
腾讯云今年推出的音视频 AI 产品家族 WAND,正尝试从模型优化、生成控制和后期处理等环节尝试减少返工。 据腾讯云披露,WAND 已经帮助客户降低约 20%的内容生产综合成本。
这笔成本究竟是如何节省的?朱琳在采访中解释,提高内容可用率是其中一条重要路径。除了优化模型的生成效果,WAND 还通过白模前置、擦除修复和生成式增强等技术,让部分原本需要重新生成的素材经过处理后达到使用要求,从而减少反复生成和返工,以此实现综合成本的下降。
漫森文化的实践提供了更具体的数据。公司助理总经理谭琳介绍,团队此前的镜头可用率约为 30%。接入腾讯云 WAND 提供的视频生成、画面修复与增强等能力后,可用率提升至 50%—80%,经过精细化运营,可以稳定维持在 80% 左右。
漫森文化还将 WAND 的视频生成、画质增强等能力接入自研制作中台,通过 Agent 工作流串联剧本、分镜、画面生成、后期处理和剪辑等环节。谭琳透露,公司制作的精品 AI 短剧单部成本约为 10 万—20 万元,使用 WAND 相关能力后,成本进一步节约约 30%,整体效率提升约 30%。
类似的变化也出现在电商领域。紫讯科技联合创始人杜玉生介绍,公司主要服务跨境电商 B 端客户,帮助商家制作广告获客素材。接入 WAND-Vega 后,图片素材的有效使用率从此前的 50%—60%,提升至 70%—80%;在达到相同业务效果的情况下,商家的素材成本有所下降。
减少“抽卡”,为什么需要在模型之外做文章?
提高内容可用率,不仅需要优化模型,还可以在生成前明确约束,在生成后修复缺陷。
首先,在生成之前,把模糊的创作要求变成更明确的约束。
李志成在采访中介绍,针对复杂影视场景,WAND 尝试引入 3D 白模:先通过 3D 软件生成简化的场景视频,确定物体位置、空间关系及部分运动信息,再将其作为参考交给视频生成模型。
相比完全依赖自然语言描述,白模能够将场景布局、物体位置和运动关系转化为更明确的视觉约束,让创作者在正式生成前就能调整空间结构和镜头安排,再由模型生成最终画面,从而减少生成结果的不确定性。
现场一位业务负责人分享了一个真实客户案例。一家保险客户希望呈现春节燃放鞭炮发生事故、救护车赶到现场的情节。用户口述需求后,平台的工具先生成相应的白模场景,再交给 WAND-Vega 或其他模型进行视频生成,从而减少了反复尝试。
其次,针对专业场景,通用模型未必总是最合适的选择。
李志成在采访中解释,WAND-Vega 并不是从零训练的通用基座模型,而是基于腾讯混元及部分开源基础模型进行后训练和调优。
腾讯云选择这条路线,与其观察到的实际业务需求有关。在不少通用场景中,现有生成模型已经能够满足基本要求,但电商、短剧等专业场景仍然存在一些反复出现的问题。电商需要准确保留商品特征,影视制作更关注人物一致性、动作和镜头衔接。针对这些高频需求进行优化,目标是提高模型在特定业务中的适用性,而非单纯追求通用评测成绩。
WAND-Vega 还提供侧重性价比的 Lite 和侧重生成质量的 Pro 等版本。李志成透露,在效果基本对齐部分行业主流模型的情况下,面向成本敏感客户的方案可降低约 20%—30% 的模型成本。
最后,当生成结果只有局部问题时,修复可能比重新生成更划算。
如果视频的主体内容已经符合要求,只存在错误字幕或局部画面瑕疵时,重新生成不仅增加成本,还可能改变原本满意的部分。
针对这类问题,WAND-EraseVibe+ 提供了视频擦除与画面重建能力。根据腾讯云披露的技术方案,该工具采用基于隐空间 Transformer 的生成式修复架构,先将视频画面编码为隐空间特征,在特征层推断并重建需要修复的区域,再解码为视频画面。
白模前置、垂直场景调优和局部修复分别作用于不同环节,目的都是减少为了获得可用内容而付出的重复生成成本。然而,当一个生产任务需要经过多个模型与工具,新的问题也随之出现:这些能力应该如何连接,由谁决定下一步做什么?
从模型调用到自动交付,Agent 能接管多少工作?
一段视频从生成到成片,可能需要经过画面修复、增强、配音、字幕和剪辑等多个环节。这些任务通常由不同模型或工具完成,开发者不仅需要处理它们之间的依赖关系,还要管理执行状态和异常情况。
固定的自动化工作流可以完成部分任务。漫森文化就通过自研制作中台,按照预设流程调用不同模型和处理工具。而对于需要临时组合不同能力的任务,Agent 则提供了更灵活的方式。
一位业务负责人介绍,其平台的 Creative OS 允许用户通过自然语言提出创作需求,由 Agent 参与模型选择和工具调用。根据平台此前的一次统计,82% 的视频模型调用已经由 Agent 发起,部分过去需要手动搭建画布节点的操作,如今可以交给系统完成。
Agent 可以帮助理解任务、选择工具、组织执行步骤,但生成结果是否符合创作意图、是否达到商业使用要求,以及需要怎样修改,仍然可能需要创作者判断。
智象元一沈伟峰在采访中提到,普通个人创作者通常更关注最终结果,而专业影视团队除了成片质量,还要求创作过程具有较高的可控性和可编辑性。例如,创作者可能认可一个镜头的整体效果,却只想修改人物表情;也可能希望保留现有场景,仅调整镜头运动。如果工具每次都重新生成完整画面,或者无法保留和编辑中间结果,那么即使自动化程度很高,也未必适合严肃的商业生产。因此,Agent 不只是要减少人工操作,还需要允许创作者在关键节点检查、修改和调整结果。
从模型生成、工具处理到 Agent 编排,多模态内容生产正在尝试将原本分散的能力组织成一套完整的工作流。但要真正实现稳定交付,系统不仅需要完成各环节的调用,还要保证生成结果符合要求,并允许创作者在关键节点介入修改。