如何在单张 RTX 5090 上用 MiniMax H3 生成实时视频

ComfyStreamerH3

背景

最近，AI 推特上都在热议实时视频。从 Fal 发布的、在质量上竞争并在上个月登顶榜单的 H3 Max 模型，到在成本上进行优化的 FastH3 模型。自从人们还开玩笑说 AI 模型无法制作出 Will Smith 吃意大利面的动画以来，视频模型已经取得了长足进步！

尽管这些近期模型令人印象深刻，但存在一个问题。这个问题就是成本。持续运行这些模型每天可能花费高达 6000 美元！这使得这些模型对普通消费者来说完全无法使用。

感谢阅读 ComfyUI Newsletter！免费订阅以接收新文章并支持我的工作。

目标

所以我提出的问题是，这些模型能被推到什么程度？如果你让一个智能体在互联网上搜索每一种优化、每一种加速、每一种成本节省，当然还有每一种为了速度而牺牲质量的肮脏技巧。然后，如果你把这一切整合到一个在单张消费级 GPU 上运行的单一自定义 comfy 节点中会怎样？我的要求如下：

硬件：一张拥有 32 GB 显存的 RTX 5090
速度：在 15 秒或更短时间内生成 15 秒视频
分辨率：448×256 分辨率
质量：保持可观看，即使片段有粗糙之处

RTX 5090 是一个有用的目标：一些高端游戏 PC 配备了一张，而且在市场上最便宜的一端，可以找到每小时约 70 美分的租赁价格。

基准测试

示例：同样的意大利面。三种风格。

动漫

风格化 3D

水彩

这些片段显然有一些粗糙之处和伪影。但对于一张每小时租金不到 70 美分的单张 GPU 来说，这结果并不算完全糟糕！

但话不多说，让我们进入细节。普通观众请注意，其中有些内容我甚至都不理解，因为它们只是我的智能体能够从其他项目中提取出来的。赞美 Astra Codex！

实现细节

我在四步设置中使用了 FastVideo 的 FastH3 V2 检查点。作为对比，FastVideo 的 Preview V1 在一张 B200（提示：贵得多的 GPU）上，用 47.2 秒生成了一个 15 秒、1344×768 的片段。

以下是我们为在单张 RTX 5090 上运行该工作流所做的优化：

四个采样步骤。每一步都是另一轮模型工作，用于细化视频。使用四步意味着每个片段的计算量更少。
稀疏注意力。注意力让视频的各部分在生成时共享信息。VSA 将完整注意力集中在选定的 20% 视频块上——跳过约 80%——同时仍然包含提示词。
更小的文本编码器。编码器将你的提示词转换为 H3 可以使用的信息。NicoLab28 的 ClipProj 改造 Qwen3-VL-4B 来替代 H3 的 32B 编码器：它使用约 4.5 GB，而不是 15.7 GB。
更小的检查点。FastVideo 的剪枝 INT8 检查点将剪枝（移除选定的权重）与 INT8 存储（8 位数字）结合起来，减少模型所需的 GPU 内存。
融合 FP4 MLP。MLP 处理模型大量重复计算。对这一部分使用四位数学并融合其操作，意味着权重占用更少内存，需要移动的临时结果也更少；这建立在 ByronLeeeee 的 H3 优化之上。
解码与编码同步进行。 Kijai 的 INT8 H3 视频解码器以分块方式重建视频。NVENC 在解码器准备下一块时就开始写入已完成的块，因此这些步骤相互重叠。该工作流只保留最后一帧用于下一个任务，而不是缓存所有已解码的帧。

这些优化同时提升了速度和内存使用效率，将显存需求从 80GB 降至 < 30GB，可安全容纳于 RTX 5090 的 32 GB GPU 显存之内。

演示

如果你想亲自测试结果，这个自定义 Comfy 节点已在此处开源发布： https://github.com/Comfy-Org/comfystreamerh3

此外，你还可以从 Comfy 开发者平台租用 GPU。

Comfy API 负责处理 GPU 托管、模型和依赖项，因此你的应用无需自备 GPU 即可请求视频。你还可以按照 readme 此处的说明注册并将此演示部署到 Comfy API。

最终思考

这些视频在图像细节、一致性和分辨率方面显然还有很大的提升空间。但能让 H3 在单块 RTX 5090 上实时生成哪怕只是部分可辨认的视频，也显示出在单 GPU 实时视频的前沿领域，这些模型还能被推进多远。下一步可以是将每个片段通过一个成本优化的视频超分模型，例如最近发布的 SolRefinery：即先生成 448 × 256 的快速初始视频，然后以低成本超分到更高分辨率。我对该模型的初步测试显示，仅用 3 倍的 GPU 就能实现 7 倍的像素密度提升。因此，考虑到未来优化的可能性，我们可能比你想象的更快拥有成本高效、半可用的实时视频！

超分结果

感谢阅读 ComfyUI Newsletter！免费订阅以接收新文章并支持我的工作。