Cliphouse 发布 LLM Motion Graphics Benchmark：10 款模型同题生成 Remotion 动效视频

Cliphouse Research2026年10月 / v1.1

动态图形
基准测试。

为动态图形找到合适的 AI 模型
无需亲自测试每一个模型。

我们给十个领先模型相同的三份 Remotion 简报，并渲染每一个结果。并排比较视频，看看哪些模型一次成功，并在选择前查看实际 API 成本。

作者 cliphou.se2026年10月8日实时对比

比较模型 方法论测试简报版本

生成完成。评分待定。

60 个已渲染视频。0 个未完成或失败的提交。0 个已审核视频。

60/60次运行已完成

01 / 对比

一份简报。所有模型。

10 个模型 · 2 次独立运行

叙事、构图与界面动画

12 秒 · 1080p · 30 fps · 无声

产品发布 - 完整简报

Create a silent, 12-second product-launch video for "Relay", a fictional team-planning app. Use Remotion, 1920 x 1080, 30 fps.
From 0-3 seconds, introduce "Relay" and "Make room for focused work".
From 3-9 seconds, show "Plan together", "Protect focus time", and "See progress" through an animated product interface.
From 9-12 seconds, show "Start your next week with Relay". Keep the final message fully readable for at least two seconds.
Use the supplied fonts and palette. Choose the layout, visual style, and transitions. Include no additional claims, external assets, or audio. Return a complete composition that follows the supplied component contract.

产品发布，第 1 次运行。10 个已完成条目。

Anthropic高级

Claude Opus 5.5

视觉评分

审核待定

API 成本

$0.374

生成

211.0s

运行详情

模型 ID

anthropic/claude-opus-5.5

推理强度

高

状态

首次尝试即通过

提供商

amazon-bedrock

生成时间

2026-10-08T15:31:10.508Z

渲染时间

47.6s

Anthropic中端

Claude Sonnet 5.5

视觉评分

审核待定

API 成本

$0.135

生成

80.3s

运行详情

模型 ID

anthropic/claude-sonnet-5.5

推理强度

高

状态

首次尝试即通过

提供商

google-vertex/global

生成时间

2026-10-08T15:46:24.224Z

渲染时间

212.1s

Anthropic经济型

Claude Haiku 5.5

视觉评分

审核待定

API 成本

$0.011

生成

90.3s

运行详情

模型 ID

anthropic/claude-haiku-5.5

推理强度

高

状态

首次尝试即通过

提供商

google-vertex/global

生成时间

2026-10-08T15:28:47.009Z

渲染时间

34.7s

OpenAI中端

GPT-6.1 Sol

视觉评分

审核待定

API 成本

$0.116

生成

195.8s

运行详情

模型 ID

openai/gpt-6.1-sol

推理强度

高

状态

首次尝试即通过

提供商

openai

生成时间

2026-10-08T16:01:00.939Z

渲染时间

33.1s

OpenAI经济型

GPT-6 Luna

视觉评分

审核待定

API 成本

$0.0066

生成

130.0s

运行详情

模型 ID

openai/gpt-6-luna

推理强度

高

状态

首次尝试即通过

提供商

openai

生成时间

2026-10-08T16:04:35.984Z

渲染时间

34.4s

Google经济型

Gemini 3.8 Flash

视觉评分

审核待定

API 成本

$0.087

生成

164.0s

运行详情

模型 ID

google/gemini-3.8-flash

推理强度

高

状态

首次尝试即通过

提供商

google-ai-studio

生成时间

2026-10-08T16:08:27.843Z

渲染时间

33.8s

DeepSeek经济型

DeepSeek V4.1 Flash

已恢复 / R1 · 额外 1 次尝试

视觉评分

审核待定

API 成本

$0.0068

生成

416.8s

运行详情

模型 ID

deepseek/deepseek-v4.1-flash

推理强度

高

状态

在自动修复轮次 R1 中恢复

原始结果

1 次尝试后失败。无效提交：达到完成上限。

原始 API 成本

$0.0057

额外修复成本

$0.0010

总尝试次数

2

提供商

decart/fp4

生成时间

2026-10-08T18:27:47.516Z

渲染时间

32.7s

Z.ai经济型

GLM 5.3 FlashX

已恢复 / R1 · 额外 1 次尝试

视觉评分

审核待定

API 成本

$0.030

生成

132.6s

运行详情

模型 ID

z-ai/glm-5.3-flashx

推理强度

高

状态

在自动修复轮次 R1 中恢复

原始结果

1 次尝试后失败。无效提交：JSON 中属性值后应为 ',' 或 '}'，位置 23223（第 2 行第 23222 列）

原始 API 成本

$0.021

额外修复成本

$0.0091

总尝试次数

2

提供商

z-ai/fp8

生成时间

2026-10-08T18:30:29.372Z

渲染时间

32.7s

Qwen开放权重

Qwen3.8 2.4T A95B

视觉评分

评审待定

API 成本

$0.030

生成

101.4s

运行详情

模型 ID

qwen/qwen3.8-2.4t-a95b

推理强度

medium

状态

首次尝试即通过

提供商

novita

生成时间

2026-10-08T16:22:53.346Z

渲染时间

32.2s

Moonshot AI开放权重

Kimi K3

视觉评分

评审待定

API 成本

$0.356

生成

519.2s

运行详情

模型 ID

moonshotai/kimi-k3

推理强度

high

状态

首次尝试即通过

提供商

decart/mxfp4

生成时间

2026-10-08T16:26:11.447Z

渲染时间

36.4s

按价格档位精选，并非人气排名。空白条目表示未测试，而非失败。在两次盲审完成前，评分不予公布。

恢复的条目显示总 API 成本和生成时间，包括原始尝试。额外的修复成本在运行详情中逐项列出。恢复意味着代码编译并渲染成功，并不代表视觉质量或需求符合度已获认可。这并非首次尝试即成功。

02 / 方法论

同一起点。
没有内定赢家。

协议 v1.1

这测试的是编写动态图形代码的语言模型，而非原生文生视频模型。每个请求都通过 OpenRouter 发出。生成的代码使用相同的 Remotion 环境渲染。

保持不变的部分

三个固定需求、两次独立运行、一份组件契约、相同的本地字体和调色板，以及包含推理在内的 32,000 token 补全上限。不使用浏览、外部资源或现有 Cliphouse 合成。

获得再次尝试机会的部分

只有编译或渲染失败才会获得一次修复请求，并附带错误日志。成功的视频不会获得创意性修改。原始尝试和修复成本均予保留。传输错误单独记录。

自动恢复 / R1

只有原始失败才会获得最多三次额外的自动修复请求。保持相同的模型、固定提供商、推理强度、需求、字体、调色板和渲染器。直接返回完整的 TSX；接受单个代码围栏或有效的源 JSON 包装，且不编辑代码。提供上一次响应以及完整的编译器/渲染诊断信息。在首次成功渲染时停止。不进行人工代码编辑或创意反馈。保留原始结果，并单独报告额外尝试和成本。恢复使用 64,000 token 上限和直接 TSX 输出，而非原始的仅 JSON 格式。这些是额外的修复结果，而非替代性的首次尝试。

修复结果 · 修复协议 · 原始结果

我们披露的内容

确切的模型 ID、提供商、请求、推理设置、源代码、耗时和 API 成本。提供商固定，回退已禁用。最多四个 API 请求重叠；渲染保持顺序执行。推理标签在不同模型之间并不等同于相同的计算预算。

10个模型

3个固定需求

2次运行/需求

视觉质量，盲审

两名评审对每项标准从 1（差）到 5（优）打分，模型名称和成本均隐藏。加权分数取两名评审的平均值。两次运行均予公布，包括失败。

视觉设计30%

层级、构图、色彩和视觉一致性。

动效25%

时序、连贯性、有目的的动画和过渡。

可读性25%

可读文本、安全边距，以及足够的时间理解每个场景。

简要遵循20%

正确的文案、数值、顺序和要求的时长。

视觉质量不包括成本和可靠性。两次运行是探索性证据，不是统计上确定性的排名。在每个模型都有可比覆盖范围之前，不宣布总体获胜者。

协议修订：一次 Haiku 设置试点使用了 13,309 个推理 token，并在最初的 16,000 token 限制处被截断。协议 1.1 为所有 60 次可比运行使用 32,000 个 token。该试点花费 $0.008，并保留在支出记录中，不计入比较。

修复反馈限制：在此试点中，编译失败修复收到的是堆栈跟踪，而没有详细的 TypeScript 诊断信息。请将修复结果视为暂定。首次尝试结果不受影响。

03 / 版本

一份记录，而非移动的目标。

新模型版本加入实时比较。月度报告保留已测试的版本、协议和结果。对测试的更改会获得新的协议版本。

2026年10月第 01 版 / 已发布 60 次运行