Artificial Analysis 与 HeyGen 发布 Code2Video-AA 视频生成评测

Artificial Analysis· @ArtificialAnlys · X·2026-10-27 06:22· 27 分钟前AI 评分43

AI 导读

Artificial Analysis 与 HeyGen 合作推出 Code2Video-AA，用 114 个设计简报测试模型将产品/品牌营销简报转成 HyperFrames HTML 合成并渲染为视频的能力，经 35,000+ 次成对评判按五轴 Elo 排名 27 个模型。

正文 · 原文

推出 Code2Video-AA，这是我们对 HeyGen 的 Code2Video Bench 的独立实现，用于评估模型以代码创作产品和品牌营销视频的能力

Code2Video-AA 通过 114 个设计简报测试模型，要求它们将每个产品或品牌营销简报转化为 @HyperFrames_ HTML 合成，再由我们渲染为视频。模型输出通过与其他模型输出的成对比较，在五个维度上进行评估：吸引力、提示意图、构图、时间一致性和工艺。我们利用这些比较的结果计算每个维度的 Elo 评分，再取平均值得出 Code2Video-AA 的总 Elo。Code2Video-AA 与 @HeyGen 合作构建。

Claude Opus 5.5（max with fallback，1536）以 93 分领先 Code2Video-AA，但每任务成本为 $3.08，约为 GPT-6.1 Sol（max，1369）的 10 倍，后者落后 167 分。

主要发现：

➤ Claude Opus 5.5 在全部五个评判维度上领先：模型在 5 个维度上接受评判：吸引力、提示意图、构图、时间一致性和工艺。Claude Sonnet 5.5（max with fallback，1443）和 GPT-6 Astra（max，1427）在总分上统计并列第二

➤ 每任务成本差异超过 300 倍，从 $0.01 到 $3.89：排名第四的 GPT-6.1 Sol（max）每任务成本为 $0.31，比 Claude Opus 5.5（max with fallback）的 $3.08 低约 90%

➤ 开放权重模型至少落后 483 分：DeepSeek V4.1 Flash（max，1053）、MiMo-V2.6-Flash（1052）和 MiMo-V2.6-Pro（1052）是排名最高的开放权重模型，每任务成本为 $0.01 至 $0.08

Code2Video-AA 详情：

➤ 模型在无工具条件下测试单次响应。我们使用 HyperFrames 渲染，且无网络访问

➤ 评判模型（Gemini 4 Argon，high）在五个维度上比较成对视频：吸引力、提示意图、构图、时间一致性和工艺，最终得分由各维度 Elo 组合计算得出

➤ 超过 35,000 条评判结果按 Elo 对 27 个模型排名，置信区间为 95%

更多结果、示例视频以及 Code2Video-AA 的工作原理见下方推文串

来源：Artificial Analysis · x.com