arXiv cs.AI· Cheng Liang, Haoxian Chen, Liang Hou, Qi Fan, Gangshan Wu, Xin Tao, Limin Wang·· 1 天前AI 评分41
VMonarch：用结构化注意力实现高效视频扩散 Transformer
VMonarch: Efficient Video Diffusion Transformers with Structured Attention
AI 导读
VMonarch 提出一种面向视频 DiT 的结构化 Monarch 矩阵注意力机制，在 VBench 上以极少调优达到与全注意力相当或更优的生成质量，注意力 FLOPs 降低 17.5 倍，长视频注意力计算提速超 5 倍。
正文 · AI 翻译
摘要：注意力机制的二次复杂度严重限制了视频扩散 Transformer（DiT）的上下文可扩展性。我们发现，视频 DiT 中表现出的高度稀疏的时空注意力模式可以自然地由 Monarch 矩阵表示。Monarch 矩阵是一类具有灵活稀疏性的结构化矩阵，可通过交替最小化算法实现亚二次注意力。据此，我们提出 VMonarch，一种用于视频 DiT 的新型注意力机制，它利用结构化 Monarch 矩阵对动态稀疏模式进行高效计算。首先，我们采用时空 Monarch 分解来显式捕捉视频数据的帧内与帧间相关性。其次，我们引入重计算策略，以缓解 Monarch 矩阵交替最小化过程中因不稳定性产生的伪影。第三，我们提出一种融合到 FlashAttention 中的新型在线熵算法，可为长序列实现快速的 Monarch 矩阵更新。大量实验表明，经过极少调优，VMonarch 在 VBench 上即可达到与全注意力相当或更优的生成质量。它克服了视频 DiT 中的注意力瓶颈，将注意力 FLOPs 降低 17.5 倍，并在长视频的注意力计算中实现超过 5 倍的加速，在 90% 稀疏度下超越了最先进的稀疏注意力方法。代码可在 此 https URL 获取。
| 学科： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2601.22275 [cs.CV] |
| （或本版本使用 arXiv:2601.22275v2 [cs.CV]） | |
| https://doi.org/10.48550/arXiv.2601.22275 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Cheng Liang [查看邮箱]
[v1]
2026年1月29日 星期四 19:48:13 UTC（8,465 KB）
[v2]
2026年11月12日 星期四 17:46:42 UTC（8,466 KB）
来源：arXiv cs.AI · arxiv.org