跳到正文
Comfy Blog· Jukka Seppänen·· 25 天前AI 评分34

MiniMax H3 视频 VAE 提速:编码最高约 2.2 倍、解码 1.4-2.7 倍

Making the MiniMax H3 Video VAE 2x Faster

AI 导读

MiniMax H3 视频 VAE 编码最高提速约 2.2 倍、解码提速约 1.4-2.7 倍,1344x768、129 帧的编解码往返从 24.3 秒降至 12.7 秒。

正文 · AI 翻译

MiniMax H3 视频 VAE 现在的编码速度最高提升约 2.2 倍,解码速度提升约 1.4-2.7 倍。两者结合,大致可将视频工作流在 VAE 上花费的时间减半:一个 1344x768、129 帧的编码加解码往返,从 24.3 秒降至 12.7 秒。

改动了什么,技术细节

  • 融合编码器内核,默认开启。 在卷积之间,编码器会对每一帧做归一化、应用激活函数并填充边缘,每一步都是对数百兆字节数据的一次单独遍历。现在这些合并为一次遍历,直接写入卷积下一步所需的内存布局。速度提升约 1.5 倍,输出完全一致。

  • 遵循 --fast fp16_accumulation 的卷积。 PyTorch 将卷积交给 cuDNN(NVIDIA 的库)处理,而通过它无法要求 fp16 累加,因此该标志只作用于矩阵乘法,编码器从中得不到任何好处。新的自定义卷积则遵循该设置,并将偏置和跳跃连接一并融合进去。这使编码器速度提升至约 2.2 倍。

  • int8 解码器。 使用 int8 VAE 文件时,解码器的权重为 8 位,归一化、激活和跳跃连接都融合进矩阵乘法中,因此中间结果无需写入内存。注意力机制也以 8 位运行。相比之前的 int8 VAE,速度提升 1.4 倍。

数据

在 RTX 5090 上以 1344x768、129 帧测得,每种配置均与本次更新前的自身进行对比。这里没有任何内容是该显卡专属的,融合编码器内核减少了内存流量,这对任何 NVIDIA GPU 都有帮助。

--fast fp16_accumulation 路径在 fp16 累加以双倍速率运行的消费级显卡上有帮助。

质量

你大概率用肉眼看不出差别。

每个 VAE 在压缩视频并重建时都会损失一点细节,这种损失始终存在。更快的 int8 路径在此基础上额外增加的损失大约还要小 30 倍,远低于任何能在画面中显现出来的程度。

即使使用 int8 VAE,编码仍以 fp16 运行,融合内核是无损的,它只是以不同顺序计算相同的值。

用技术术语来说:int8 解码器在 67.7 dB PSNR 下与标准解码器持平,更快的编码器约为 68 dB,而 VAE 对真实素材自身的重建大约为 38 dB。

如何获取

  • 将 ComfyUI 更新至 v0.36.0 或更高版本。融合编码器内核无需其他操作。

  • 使用 --fast fp16_accumulation 启动 ComfyUI,以获得更快的编码器和解码器。

  • 下载下方的工作流,或在模板库中找到它们。

下载 MiniMax H3 I2V 工作流

下载 MiniMax H3 R2V 工作流

下载 MiniMax H3 T2V 工作流

  • 加载 int8 MiniMax-H3 VAE 文件以获得最快的解码速度。它可直接替换标准版本。

所有数据均为同日针对改动前构建的 A/B 测量,通过 VAE Encode 和 VAE Decode 节点取得。

来源:Comfy Blog · blog.comfy.org