arXiv cs.AI· Yukuo Ma, Cong Liu, Junke Wang, Junqi Liu, Haibin Huang, Zuxuan Wu, Xuelong Li·· 11 小时前AI 评分39
ReCam:用全上下文记忆实现稳定长视频生成
Recast the Past: Stable Long Video Generation with Full Context Memory
AI 导读
ReCam 将历史潜变量的局部时空块分组为向量并直接投影到 Diffusion Transformer 的高维隐藏空间,通过原生自注意力使用记忆 token,在降低 token 数量的同时保留对完整历史的块级访问。
正文 · AI 翻译
摘要:长时程视频生成需要保留不断扩展的历史,但以其不断增长的 token 序列作为条件代价高昂。现有方法会限制或压缩历史上下文,可能丢失未来生成所需的信息。本工作提出 ReCam,它将历史潜变量的局部时空块分组为向量,并直接投影到 Diffusion Transformer 的高维隐藏空间中。模型通过原生自注意力学习使用由此产生的记忆 token,在减少 token 数量的同时保留对完整历史的块级访问。为缓解自回归展开过程中的时间漂移,我们进一步引入双指针去噪,为近期上下文和目标帧设置独立的噪声调度。在评估的方法中,ReCam 取得了最高的 VBench-Long 总分 80.1,并在 R2M-Bench 上具有竞争力的静态场景重访性能。它还在离屏主体重现的全部四项一致性指标上领先,其中服装一致性为 4.09,而最佳基线为 3.03。
| 评论: | 代码:此 https URL |
| 主题: | 计算机视觉与模式识别 (cs.CV);人工智能 (cs.AI) |
| 引用为: | arXiv:2610.27986 [cs.CV] |
| (或 arXiv:2610.27986v1 [cs.CV] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.27986 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Yukuo Ma [查看邮箱]
[v1]
2026年10月20日星期二 10:27:07 UTC (28,973 KB)
来源:arXiv cs.AI · arxiv.org