arXiv cs.AI· Hang Xu, Guohui Zhang, Xiaoxiao Ma, Hu Yu, Jie Huang, Jiayin Xiao, Lin Song, Haoyang Huang, Nan Duan, Feng Zhao·· 3 天前AI 评分31
REEL：为任意长时程多镜头视频生成学习检索、评估与演化视觉记忆
REEL: Learning to Retrieve, Evaluate, and Evolve Visual Memory for Any Long-Horizon Multi-Shot Video Generation
AI 导读
REEL 是一个通用视觉记忆规划器，通过统一工具接口学习检索参考、生成缺失视觉证据并更新持久记忆，配合后端专用适配器可将同一策略用于不同黑盒视频生成器。训练分三阶段：监督微调、单镜头 GRPO 和多镜头 GRPO，后者跨连续镜头传递策略生成的记忆。
正文 · AI 翻译
摘要：基于记忆的长视频生成旨在将用户控制与长程视觉一致性结合起来。我们将这一过程组织为三个功能组件：规划器、适配器和生成器。具有代表性的多镜头系统将记忆耦合到特定于生成器的接口，或使用预定义的智能体工作流，而不是为跨镜头目标独立训练记忆策略。我们提出了 REEL，一种通用视觉记忆规划器。通过统一的工具接口，REEL 学习检索参考、创建缺失的视觉证据并更新持久记忆。后端特定的适配器将其证据计划转换为受支持的条件输入，使同一策略能够指导不同的黑盒视频生成器。为了训练 REEL，我们构建了两个高质量数据集 REEL-SFT-4k 和 REEL-RL-1k，涵盖多样的交互模式和提示类型。训练分三个阶段进行：监督微调、单镜头组相对策略优化（GRPO）和多镜头 GRPO。多镜头 GRPO 将策略生成的记忆跨连续镜头传递，因此后续结果会指导先前的参考选择和记忆更新。REEL-Bench 在纯文本请求和定时参考图像上传下测试身份保持和预期状态变化。在 JoyAI-Echo~1.5 和 MiniMax-H3 上，与无记忆基线相比，REEL 在 ST-Bench 上将跨镜头一致性分别提升了 15.1\% 和 20.7\%，在我们提出的 REEL-Bench 上 Core-100 分别提升了 2.41 和 8.32 分。
| 评论： | 此 https URL |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.16632 [cs.CV] |
| （或 arXiv:2610.16632v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.16632 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Hang Xu [查看电子邮件]
[v1]
2026年10月12日星期一 11:54:14 UTC（17,984 KB）
来源：arXiv cs.AI · arxiv.org