arXiv cs.AI· Xiaoxue Wu, Xinyu Gao, Fang Yu, Yu Qiao, Xinyuan Chen·· 3 天前AI 评分22
CineMem：面向多镜头长视频生成的注意力对齐细粒度记忆检索
CineMem: Attention-Aligned Fine-grained Memory Retrieval for Multi-Shot Long Video Generation
AI 导读
CineMem 是一个面向自回归多镜头视频生成的注意力对齐细粒度记忆检索框架，结合在线记忆组织与查询自适应检索。它提出在线聚簇 KV cache 作为记忆组织策略，并引入查询级检索机制，在固定检索预算下扩大历史信息访问、提升长期记忆利用率。该框架还配套一套 VLM 辅助的镜头间一致性评估指标，实验验证了其有效性。
正文 · AI 翻译
摘要：自回归视频生成依赖记忆检索来建模长程依赖关系。这一能力在多镜头生成中尤为关键，因为模型必须在镜头切换带来的显著视觉变化与持续的语义连贯性之间取得协调。现有方法往往在帧级别进行记忆检索，并对所有查询 token 共享相同的历史上下文，忽视了异构的信息需求，导致冗余检索和历史记忆利用效率低下。为弥补这一不足，我们提出了 CineMem，一个注意力对齐的细粒度记忆检索框架，将在线记忆组织与查询自适应检索相结合，用于自回归多镜头视频生成。具体而言，在通过注意力分析揭示的内在记忆访问模式指导下，我们提出在线聚类 KV 缓存，作为对所有历史 token 的记忆组织策略，从而实现语义感知的记忆分组和更精确的检索。此外，我们引入查询级检索机制，在固定检索预算下提供更广泛的历史信息访问，从而提升长期记忆利用率。这些设计共同使多镜头视频生成器能够在镜头切换之间保持长程一致性，尤其是在重访场景中，同时在受限的记忆预算下近似实现全记忆访问。为便于评估，我们进一步提出了一套针对特定任务、由 VLM 辅助的指标，用于忠实地评估镜头间一致性。大量实验证明了我们框架的有效性。
| 评论： | 项目主页：this https URL |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.17926 [cs.CV] |
| （或 arXiv:2610.17926v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.17926 arXiv 通过 DataCite 颁发的 DOI（待注册） |
提交历史
来自：Xiaoxue Wu [查看邮箱]
[v1]
2026年10月13日星期二 08:14:08 UTC（13,312 KB）
来源：arXiv cs.AI · arxiv.org