arXiv cs.AI· Dongyeun Lee, Amir Zandieh, Vahab Mirrokni, Junmo Kim, Insu Han·· 11 小时前AI 评分35
HyperVAttention：面向视频扩散的时空聚类高效稀疏注意力
HyperVAttention: Efficient Sparse Attention with Spatio-Temporal Clustering for Video Diffusion
AI 导读
HyperVAttention（HVA）是一种免训练稀疏注意力框架，通过 3D 局部窗口聚类与混合聚类策略降低聚类开销，并用硬件感知的簇合并提升 CTA 利用率。在 HunyuanVideo 上，HVA 相比全注意力实现 2.13× 加速，其快速变体 HVA-Flash 达 2.23×，且在相近延迟下保真度高于 SVG2。该工作已被 NeurIPS 2026 接收。
正文 · AI 翻译
摘要：视频扩散 Transformer（VDiT）在高保真视频生成方面已展现出显著能力。然而，其生成长时长视频的能力从根本上受限于自注意力机制的二次复杂度。近期基于聚类的稀疏注意力方法通过对语义相似 token 进行分组，改善了质量与速度之间的权衡，但其实际效率仍受两个瓶颈制约：聚类开销大，以及由不规则聚类诱导块导致的 CTA 利用率低。我们提出 HyperVAttention（HVA），一个无需训练的稀疏注意力框架，可同时解决这两个瓶颈。为降低聚类开销，我们引入 3D 局部窗口聚类，利用视频 token 的时空局部性将质心搜索限制在固定的局部邻域内，并用自定义 Triton 内核实现以高效执行。我们进一步提出混合聚类策略，仅在锚点步执行完整聚类，在中间步仅更新部分 token，从而利用去噪步间聚类分配的时间稳定性。为提高 CTA 利用率，我们提出硬件感知的聚类合并，通过并行凝聚合并最小化 CTA 对齐的执行成本，利用空闲 tile 容量提升块密度和近似保真度。这些组件共同降低了聚类开销、避免了冗余更新，并使稀疏注意力更好地匹配现代 GPU 内核的固定 tile 结构。视频生成实验表明，HVA 推进了无需训练稀疏注意力的帕累托前沿，在相当延迟下比 SVG2 获得更高保真度，在 HunyuanVideo 上相比全注意力实现 $2.13\times$ 加速，其更快的变体 HVA-Flash 则达到 $2.23\times$。
| 评论： | 被 NeurIPS 2026 接收。项目主页：this https URL |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2607.03012 [cs.CV] |
| （或 arXiv:2607.03012v2 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2607.03012 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Dongyeun Lee [查看邮箱]
[v1]
2026年7月3日星期五 06:46:35 UTC（3,889 KB）
[v2]
2026年11月5日星期四 14:37:08 UTC（3,891 KB）
来源：arXiv cs.AI · arxiv.org