Kyutai 发布 CADRE 视频自编码器，交互世界模型动作延迟降到 230 ms 以内
Kyutai 发布开源因果扩散表征自编码器 CADRE，面向动作条件化的交互世界模型，1.2B 世界模型在单张 H100 上以 20 fps 运行、动作延迟低于 230 ms。
MarkTechPost· Michal Sutter·2026-10-24 07:26· 3 小时前AI 评分55
Kyutai CADRE：将世界模型延迟降至 230 ms 以下的视频自编码器
AI 导读
Kyutai 发布开源因果扩散表征自编码器 CADRE，面向动作条件化的交互世界模型，1.2B 世界模型在单张 H100 上以 20 fps 运行、动作延迟低于 230 ms。
正文 · 原文
Kyutai 发布了 CADRE，这是面向交互世界模型的开源因果扩散表征自编码器。Kyutai CADRE 视频自编码器针对一个问题：动作延迟。许多世界模型借用文生视频生成器的自编码器。这些自编码器将多帧打包进一个潜变量，因此每个动作都要等待。根据研究论文，CADRE 世界模型在 1 张 H100 上以 20 fps 运行，并在 230 ms 内做出反应。
TL;DR
- 规模：7 个自编码器，每个约 476M 训练参数，外加一个冻结的 86M DINOv3 ViT-B/16。世界模型为 1.2B 参数。视频以 288×512、20 fps 运行。
- 运行于：1 张 H100（bf16，batch 1）。量化版本：未披露。
- 性能：CADRE 构成了延迟-质量前沿的大部分。在与 MIRA、Wan 2.2、Cosmos 和 LTX-2 的 48 项比较中，有 42 项它既更快又更好。
- 最佳：驾驶 FVD 为 162.6（CADRE-2×16×16，1 步），而 Wan 2.2 为 599.7。
- 最差：机器人操作动作跟随（ARR）为 0.45（CADRE-2×32×32），而 Wan 2.2 为 0.85。
什么是 CADRE？
CADRE 是 Kyutai 推出的一系列视频自编码器，专为动作条件化的世界模型构建。世界模型在自编码器的潜空间中生成。因此，自编码器的压缩率同时决定了每帧成本和动作延迟。
压缩率写作 τ×s×s。τ 是每个潜变量对应的帧数，s 是空间因子。研究给出的延迟为 τ/f 加上生成和解码时间。当 τ = 8 且为 20 fps 时，仅分块就增加 400 ms。人类会注意到自身动作延迟超过约 230 ms。
CADRE 如何工作？
编码器复用了 MIRA 的方案。冻结的 DINOv3 从每帧提取逐块特征。然后一个训练好的 3D 卷积将它们压缩为 64 通道潜变量。7 个成员之间只有这个瓶颈发生变化。
解码器是一个具有 24 个块的因果扩散 transformer。它逐块流式处理。渐进式自蒸馏教会它以 1 或 2 步解码。这在单个训练阶段完成，无需对抗损失。
这些自编码器在 23 个公开视频源上训练，约 76k 小时。混合内容涵盖网络、机器人、驾驶和游戏视频。
CADRE 如何评估？
Kyutai 在每个自编码器上训练了相同的 1.2B 因果扩散 transformer。它使用了 4 个环境：机器人操作（ABC）、人类操作（EgoDex）、驾驶（PhysicalAI AV）和室内导航（RealEstate10K）。每个模型观看 2 秒真实视频，然后生成 4.8 秒。
评分涵盖图像质量（FID）、运动质量（FVD）和动作跟随（ARR）。ARR 使用冻结的逆动力学探针。ARR 为 1 表示与真实视频匹配。
基准测试显示了什么？
在单张 H100 上，CADRE-2×32×32 在 1 个解码步骤下于 185 ms 内做出反应，并维持 23.4 fps。Wan 2.2 自编码器需要 317 ms，LTX-2 需要 492 ms，Cosmos 需要 605 ms。DC-AE 更快，为 118 ms，但逐帧处理。
运动相机下差距最大。在驾驶场景中，Wan 2.2 的 FVD 达到 599.7，LTX-2 为 913.3。在室内导航中，LTX-2 的 ARR 降至 0.04。与重新训练的 MIRA 解码器相比，1 步扩散解码器将 FVD 降低 1.4 至 2.5 倍。
这 4 项发现是什么？
- 通过扩散解码：在强压缩下，感知回归会模糊，而扩散采样能生成 1 段清晰视频。
- 在自编码器中压缩时间：在世界模型内部进行分块会丢失细节。在 8 帧时，ARR 从 0.72 降至 0.56。
- 相机运动决定压缩方式：静止相机能容忍时间压缩。运动相机则更适合更少的帧数和更粗的空间 token。
- 粗 token 首先损害运动：在机器人操作中，32× 空间压缩使 FVD 达到 16× 的 2.4 倍。FID 几乎不变。
对比：CADRE 与其他视频自编码器
| 特性 | CADRE-2×32×32 | CADRE-2×16×16 | MIRA 方案 | Wan 2.2 VAE | Cosmos CV8x8x8 | LTX-2 VAE |
|---|---|---|---|---|---|---|
| 压缩 (τ×s×s) | 2×32×32 | 2×16×16 | 2×32×32 | 4×16×16 | 8×8×8 | 8×32×32（论文） |
| 每 16 帧的 token 数 | 1152 | 4608 | 1152 | 2304 | 4608 | 288 |
| 解码器 | 因果扩散，1 至 2 步 | 因果扩散，1 至 2 步 | 感知回归 | 因果 | 因果 | 非因果，窗口化 |
| 动作延迟，1 块 H100 | 185 ms | 216 ms | 175 ms | 317 ms | 605 ms | 492 ms |
| 最大 fps，1 块 H100 | 23.4 | 17.3 | 26.6 | 34.2 | 39.0 | 87.4 |
| FVD，驾驶（越低越好） | 171.3 | 162.6 | 311.6 | 599.7 | 452.5 | 913.3 |
| FVD，机器人操作 | 105.0 | 47.6 | 267.1 | 52.9 | 39.5 | 69.6 |
| ARR，机器人操作（越高越好） | 0.45 | 0.73 | 0.39 | 0.85 | 0.78 | 0.25 |
| 重建 PSNR（OpenVid-HD） | 22.86 | 25.12 | 24.44 | 35.02 | 31.39 | 28.24 |
| 权重许可 | CC BY-NC 4.0 + DINOv3 License | CC BY-NC 4.0 + DINOv3 License | 未披露 | Apache 2.0 | NVIDIA Open Model License | LTX-2 Community License |
延迟、fpsA、FVD、ARR 和 PSNR：CADRE 论文，表 4、6 和 7。CADRE 使用 1 个解码步。所有数据均由 Kyutai 自行报告。
CADRE 在哪里表现不足？
CADRE 并非处处占优。在机器人操作中，Cosmos 的 FVD 为 39.5，而最佳 1 步 CADRE 为 47.6。在快速端，DC-AE 在操作任务中优于 CADRE-1×48×48。Wan 2.2 在重建留出视频方面也远更好，PSNR 为 35.02 dB。
Kyutai 团队认为重建质量并不能预测 rollout。Wan 2.2 在室内 rollout FVD 上排名最后。
长潜变量会在块之间留下可见接缝。在 τ = 8 时，各环境中的边界超出量达到 1.6 至 1.8。CADRE-4×24×24 在导航中是异常值，驾驶 FVD 为 403。每个世界模型在 288×512 下覆盖一个环境。这些发现能否迁移到通用模型仍待解决。
开发者如何使用 CADRE？
代码采用 MIT 许可。Hugging Face 上的权重为 CC BY-NC 4.0，因此排除商业使用。发布内容涵盖 7 个自编码器、4 个训练更久的多分辨率版本，以及 4 个基于 CADRE-2×16×16 的世界模型。在线演示可让你用键盘驱动它们。
关键要点
- 7 个开放自编码器仅相差一个瓶颈，将压缩隔离为唯一变量。
- 基于 CADRE 的世界模型在 1 块 H100 上以 20 fps 运行，延迟低于 230 ms。
- 驾驶 FVD 降至 162.6，而 Wan 2.2 为 599.7。
- 静止相机更适合时间压缩；运动相机更适合空间压缩。
- 权重为非商业许可（CC BY-NC 4.0）；代码为 MIT。
查看论文、Kyutai 博客、GitHub 仓库以及 模型合集。所有功劳归于本项目的研究人员。另外，欢迎在Twitter上关注我们，别忘了加入我们的15万+机器学习子版块并订阅我们的新闻简报。等等！你在 Telegram 上吗？现在你也可以在 Telegram 上加入我们了。
需要与我们合作推广您的 GitHub 仓库、Hugging Face 页面、产品发布或网络研讨会等？联系我们
文章Kyutai CADRE：将世界模型延迟降至 230 毫秒以下的视频自编码器首发于MarkTechPost。
来源：MarkTechPost · marktechpost.com
来源：RadarAI · aihot.news