MiniMax H3 视频 VAE 提速:编码最高约 2.2 倍、解码 1.4-2.7 倍
Making the MiniMax H3 Video VAE 2x Faster
MiniMax H3 视频 VAE 编码最高提速约 2.2 倍、解码提速约 1.4-2.7 倍,1344x768、129 帧的编解码往返从 24.3 秒降至 12.7 秒。
MiniMax H3 视频 VAE 现在的编码速度最高提升约 2.2 倍,解码速度提升约 1.4-2.7 倍。两者结合,大致可将视频工作流在 VAE 上花费的时间减半:一个 1344x768、129 帧的编码加解码往返,从 24.3 秒降至 12.7 秒。
改动了什么,技术细节
融合编码器内核,默认开启。 在卷积之间,编码器会对每一帧做归一化、应用激活函数并填充边缘,每一步都是对数百兆字节数据的一次单独遍历。现在这些合并为一次遍历,直接写入卷积下一步所需的内存布局。速度提升约 1.5 倍,输出完全一致。
遵循
--fast fp16_accumulation的卷积。 PyTorch 将卷积交给 cuDNN(NVIDIA 的库)处理,而通过它无法要求 fp16 累加,因此该标志只作用于矩阵乘法,编码器从中得不到任何好处。新的自定义卷积则遵循该设置,并将偏置和跳跃连接一并融合进去。这使编码器速度提升至约 2.2 倍。int8 解码器。 使用 int8 VAE 文件时,解码器的权重为 8 位,归一化、激活和跳跃连接都融合进矩阵乘法中,因此中间结果无需写入内存。注意力机制也以 8 位运行。相比之前的 int8 VAE,速度提升 1.4 倍。
数据
在 RTX 5090 上以 1344x768、129 帧测得,每种配置均与本次更新前的自身进行对比。这里没有任何内容是该显卡专属的,融合编码器内核减少了内存流量,这对任何 NVIDIA GPU 都有帮助。
--fast fp16_accumulation 路径在 fp16 累加以双倍速率运行的消费级显卡上有帮助。
质量
你大概率用肉眼看不出差别。
每个 VAE 在压缩视频并重建时都会损失一点细节,这种损失始终存在。更快的 int8 路径在此基础上额外增加的损失大约还要小 30 倍,远低于任何能在画面中显现出来的程度。
即使使用 int8 VAE,编码仍以 fp16 运行,融合内核是无损的,它只是以不同顺序计算相同的值。
用技术术语来说:int8 解码器在 67.7 dB PSNR 下与标准解码器持平,更快的编码器约为 68 dB,而 VAE 对真实素材自身的重建大约为 38 dB。
如何获取
将 ComfyUI 更新至 v0.36.0 或更高版本。融合编码器内核无需其他操作。
使用
--fast fp16_accumulation启动 ComfyUI,以获得更快的编码器和解码器。下载下方的工作流,或在模板库中找到它们。
加载 int8 MiniMax-H3 VAE 文件以获得最快的解码速度。它可直接替换标准版本。
所有数据均为同日针对改动前构建的 A/B 测量,通过 VAE Encode 和 VAE Decode 节点取得。
来源:Comfy Blog · blog.comfy.org