Code2Video-AA 基准发布 评估模型代码生成视频能力

Artificial Analysis

所有文章

2026 年 10 月 26 日

Code2Video-AA：AI 模型在代码层面设计视频的能力如何？

Artificial Analysis 对 HeyGen 的 Code2Video Bench 的实现，评估模型使用 HyperFrames HTML 根据 114 份设计简报创建简短产品和品牌视频的能力。

Code2Video-AA 排行榜阅读方法论这是发布文章，展示了截至 2026 年 10 月 26 日的 Code2Video-AA 结果。如需查看最新结果，请参阅 Code2Video-AA 排行榜。

概述

Code2Video-AA 是 Artificial Analysis 对 HeyGen Code2Video Bench 的独立实现，这是一套针对简短产品和品牌视频的设计简报集合。每个模型都通过代码来设计视频。

主要发现

• Claude Opus 5.5（max with fallback）领先：Elo 分数为 1536，比第二名高出 93 分，并且在所有五个评判维度上均排名第一
• 两个模型并列第二：Claude Sonnet 5.5（max with fallback）得分为 1443，GPT-6 Astra（max）得分为 1427，两者差异在噪声范围内。GPT-6.1 Sol（max）以 1369 分排名第四
• 每项任务的成本差异超过 300 倍：从 $0.01 到 $3.89 不等。排名第四的 GPT-6.1 Sol（max）成本为 $0.31，约为 Claude Opus 5.5（max with fallback）$3.08 成本的十分之一
• 开源权重模型落后至少 483 分：DeepSeek V4.1 Flash（max）得分为 1053，MiMo-V2.6-Flash 得分为 1052，MiMo-V2.6-Pro 得分为 1052，它们是表现最好的开源权重模型

Code2Video-AA Elo

五个评判维度的平均 Elo 分数 · 锚定 GPT-5.5 (xhigh) 为 1000 · 分数越高越好 · 数据截至 2026 年 10 月 26 日（数据集版本 0.3.0）

示例任务

来自 Code2Video Bench 公开测试集的三个任务，每个任务都包含所有模型渲染的视频。模型按 Code2Video-AA Elo 分数排序。

模型

UI 动态图形（产品录屏风格），16，约 7.3 秒。一个 移动端应用线框图构建器 的演示：首先是一张黑色标题卡，随后是一个扁平、高调的浅灰色工作区，区块逐个添加到手机画布上。配色方案：工作区/界面外壳为浅灰色 #F0F0F0，稍深的面板/菜单为 #E8E8E8，主要文字为近黑色 #1A1A1A，次要标签为柔和灰色 #A4A4A1，画布为白色 #FFFFFF，仅在主按钮和当前选中项上使用一种明亮的青柠黄作为强调色 #E4E41B。

关键要求 — 镜头：标题卡之后，镜头保持锁定、扁平且正对屏幕录制视角。整个过程中构图和缩放比例保持不变——没有任何形式的镜头移动（无缩放、无推进、无平移）。所有运动仅限于元素级别：指针光标、即时面板切换以及区块填充画布。（忽略任何“推进”感——画面不会缩放。）

场景 1 — 标题卡（0.0–~0.9 秒）：纯黑画布 #000000。居中显示粗体白色 #FFFFFF 无衬线字体文本 "Rapid wireframing"。短暂停留后，通过硬切（无淡入淡出）揭示 UI。静止状态。

场景 2 — 编辑器基础状态（~0.9–2.0 秒）：浅灰色工作区。左侧边栏从上到下依次为："Now editing" / "First screen"；一行 "Status" 包含一个小红点 + "to be done"；接着是垂直排列的区块类型菜单，按顺序列出 — Text, Button, Line, Spacer, Icon(s), Gallery, Placeholder, Input, Controls, Navigation, Cards — 每项均配有小型单色图标。中心：空白的白色移动端比例（纵向）画布。右下角："Discard changes" 链接 + 青柠黄色 "Save and exit" 按钮。动作：整个 UI 在切换时已存在；指针光标移向区块菜单。无缩放。

场景 3 — 添加间隔块（~2.0–3.5 秒）：光标点击 "Spacer"。画布中出现一个虚线间隔块（带有微弱的提示文字 "Press Enter/return to add a new block"）。右侧设置面板切换显示 "Spacer block settings"，包含尺寸选项 XS S M L XL（一个小尺寸被选中并以青柠黄色高亮）。动作：右侧面板内容硬切换（无缓动效果）；区块弹入画布。无缩放。

场景 4 — 添加媒体 / 图片占位符（约 3.5–5.0 秒）：光标返回菜单并选择图片块（“Placeholder” / “Media”）。一个大的浅灰色方形图片占位符（带有波浪形图片图标）在画布下方弹出，位于间隔器之下。右侧面板切换为“Media block settings”，显示布局缩略图，其中选中了“Image placeholder”。动作：即时切换 + 弹出，由光标驱动。无缩放（画面锁定——此处请勿缩放画面）。

场景 5 — 添加文本（约 5.0–7.3 秒）：光标选择“Text”（菜单项高亮显示为青柠黄色）。一个文本块被添加到画布中：它首先显示占位符“Write something down…”，然后标题逐字自动输入（例如“Welcome!”）。右侧面板切换为“Text block settings”，包含文本输入字段、格式控制（B / I / U + 对齐方式）以及一个青柠黄色的“Generate text”按钮。动作：文本自动输入到画布上；面板硬切换。片段在此状态结束。无缩放。

动作总结：黑色标题卡 → 硬切 → 线框构建器的锁定、正面屏幕录制。指针光标驱动所有操作：在左侧菜单中选择块类型 → 块弹出到居中的白色手机画布中 → 右侧设置面板硬切换以匹配该块（Spacer → Media → Text）。文本自动输入。每个过渡都是即时的硬切/切换，没有缓动效果，相机从不移动，画面从不缩放——始终保持平坦、静态、正面视角。

来自 27 个模型中的 27 个视频

简报来自 HeyGen 发布的 Code2Video Bench 公开数据集，采用 CC BY 4.0 许可。

Code2Video-AA 的工作原理

我们将设计简报和 HeyGen 的系统提示词在一次调用中发送给模型，不使用任何工具。模型返回一个 HyperFrames HTML 组合 index.html，其中包含用于布局的 HTML 和用于动画的 GSAP。

方法论页面介绍了我们如何选择简报、生成和渲染视频、进行评判、采样比较以及拟合 Elo 分数。

Claude Opus 5.5 在所有五个维度上均领先

在工艺（craft）方面的领先优势最大，达到 128 分；在提示意图（prompt intent）方面的领先优势最小，为 48 分，两者均是相对于 Claude Sonnet 5.5（带回退机制的最大版本）而言。时间一致性（Temporal consistency）区分模型的程度最低：其 Elo 分数范围为 1057 分，而其他四个维度的范围则在 1222 至 1349 分之间。

五个评审维度各自拥有独立的对比结果和 Elo 分数，而总体 Elo 分数则是它们的平均值。各模型在每个维度上的排名顺序几乎一致：任何模型在某一维度与总体 Elo 之间的排名变动均不超过六个位次。

Code2Video-AA 按评审维度的 Elo 分布

每个评审维度独立拟合得出的 Elo 分数，其平均值即为总体 Elo · 以 GPT-5.5 (xhigh) 为基准锚定在 1000 分 · 分数越高越好 · 数据截至 2026 年 10 月 26 日（数据集版本 0.3.0）

单任务成本差异超过 300 倍

单任务成本从 MiMo-V2.6-Flash 的 $0.01 到 Claude Fable 5.1（max with fallback）的 $3.89 不等。共有八个模型位于 Elo 与单任务成本的帕累托前沿上，范围从 MiMo-V2.6-Flash（Elo 1052，成本 $0.01）到 Claude Opus 5.5（max with fallback）（Elo 1536，成本 $3.08）。在该前沿上，Claude Haiku 5.5 (max) 的成本为 $0.08，Elo 得分为 1192；GPT-6.1 Sol (max) 的成本为 $0.31，Elo 得分为 1369。GPT-6 Astra (max) 的成本是 GPT-6.1 Sol (max) 的 5 倍（$1.62 对比 $0.31），但仅高出 58 个 Elo 点。

单任务输出 Token 数量相差 16 倍

单任务输出 Token 数量从 Nemotron 3 Ultra 的约 11k 到 Claude Sonnet 5.5 (max with fallback) 的约 176k 不等，其中大部分差异源于推理 Token。包含最终合成结果的回答 Token 数量在所有模型中介于约 4k 到 12k 之间。三个 Claude 5.5 模型使用的输出 Token 最多（每任务约 152k 至 176k），而其他 24 个模型的均值约为 42k，中位数约为 34k。

Code2Video-AA：Elo 与单任务成本对比

Code2Video-AA Elo 与平均单任务成本（美元）对比 · 以 GPT-5.5 (xhigh) 为基准锚定在 1000 分 · 数据截至 2026 年 10 月 26 日（数据集版本 0.3.0）最具吸引力象限 帕累托线

评估中的平均单任务成本。在可获得标准 Token 计数的情况下，成本按输入、缓存命中、缓存写入、推理和回答 Token 的价格进行拆分。

所有模型的视频渲染成功率至少为 96%

合成内容必须成功渲染为视频，评审才能对其进行查看。在 3078 个任务中，有 3042 个（98.8%）成功渲染，且 27 个模型中有 8 个实现了全部 114 个任务的完美渲染。GLM-5.3 (max) 的渲染率最低，114 个任务中仅有 110 个成功渲染。

未能成功渲染的合成内容在与已渲染视频的对比中将输掉所有对决。排名最低的三个模型在 114 个任务中分别渲染了 111 到 113 个，因此它们较低的 Elo 分数主要源于评审对已成功渲染视频的判定结果。

Code2Video-AA：渲染率

114 个任务中合成内容成功渲染为视频的比例 · 比例越高越好 · 数据截至 2026 年 10 月 26 日（数据集版本 0.3.0）

Code2Video-AA 资源

• 排行榜位于 Code2Video-AA 评估页面
• 方法论页面 涵盖了当前的实现、评判和评分标准
• HeyGen 的公告文章 介绍了该基准测试
• HyperFrames 渲染器已发布在 GitHub 上

阅读最新动态

[

Kimi K3.1 Pro 在智能指数中位列第四，并将领跑开源权重模型

Kimi K3.1 Pro 在 Artificial Analysis 智能指数中位列第四，并将领跑开源权重模型

2026 年 10 月 23 日](https://artificialanalysis.ai/articles/kimi-k3-1-pro-launch-benchmarks)[

发布 AA-PersonalityBench：衡量 AI 模型的沟通方式

AA-PersonalityBench 用于衡量 AI 模型的性格和沟通风格。由 LLM 评委组成的小组对回答进行成对比较，涵盖 30 种性格特质，这些特质汇总为 8 个性格指数，同时直接从每个响应中测量 21 项沟通特征。

2026 年 10 月 19 日](https://artificialanalysis.ai/articles/aa-personalitybench)[

HealthBench 与 HealthBench Professional：在真实健康对话场景中评估模型

我们即将推出 HealthBench 和 HealthBench Professional 排行榜，这两个基准测试旨在评估 AI 模型在真实健康对话场景中的响应表现

2026 年 10 月 19 日](https://artificialanalysis.ai/articles/healthbench-professional-health-conversations)