arXiv cs.AI· Bowen Zheng, Zhiguang Liu, Jiarong Ou, Rui Chen, Tianyang Hu·· 9 天前AI 评分36
无需双向教师模型：条件残差预测（CRP）提升自回归视频扩散模型
Conditional Residual Prediction: Improving Autoregressive Video Diffusion without a Bidirectional Teacher
AI 导读
研究者提出条件残差预测（CRP），让因果视频扩散模型先不带条件预测目标、条件仅用于叠加残差，从而减少对历史帧的依赖。在受控实验中，CRP 几乎抹平了与同规模双向模型之间 6.14 分的差距。基于该方法训练的 2B 参数因果视频模型 Optica 可自回归生成 5 秒 480p 视频，仅用约 15M 训练视频即在 VBench 上达到 82.78 分。
正文 · AI 翻译
摘要：因果视频扩散模型以自回归方式生成视频，适合流式、交互式和长视频生成。然而在标准训练下，它们生成的视频质量往往低于同等规模的双向模型。许多现有方法通过从预训练的双向教师模型初始化或蒸馏来弥补这一差距。我们则不同，从图像模型初始化开始训练因果模型，在任何阶段都不使用双向视频模型。由于这条路径既不需要大型双向教师模型，也不需要复杂的蒸馏流程，因此更简单、更具可扩展性。在这条路径上，我们发现基于真实历史训练的因果模型会对其产生强烈依赖，以至于在推理时其自身生成历史中的错误会向前传播。我们假设这种依赖在很大程度上是不必要的，因为当前输入已经决定了历史所提供的大部分信息。我们提出条件残差预测（CRP），一种降低模型对条件依赖的简单方法：模型先在不使用条件的情况下预测目标，条件只能在该预测之上添加残差。将 CRP 应用于历史，模型会尽可能仅根据当前预测每个片段，只在当前无法提供信息时才使用过去。在受控实验中，CRP 几乎弥合了与在相同设置下训练的双向模型之间 6.14 分的差距。扩展这一方法，我们训练了 Optica，一个 20 亿参数的因果视频模型，可自回归生成 5 秒 480p 视频，仅用约 1500 万训练视频就在 VBench 上达到 82.78。
| 评论： | 26 页，6 幅图，4 张表 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2610.11479 [cs.CV] |
| （或本版本使用 arXiv:2610.11479v1 [cs.CV]） | |
| https://doi.org/10.48550/arXiv.2610.11479 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Bowen Zheng [查看邮箱]
[v1]
2026 年 10 月 8 日星期四 08:25:41 UTC（3,516 KB）
来源：arXiv cs.AI · arxiv.org