arXiv·· 12 天前AI 评分22
MC-Sparse：弥合 Diffusion Transformer 中稠密与稀疏注意力的差距
MC-Sparse: Deconstructing and Closing the Dense-Sparse Attention Gap in Diffusion Transformers
AI 导读
针对稀疏注意力在高稀疏度下导致 Diffusion Transformer 生成质量下降的问题，研究者通过受控 oracle 对比将其归因于 token 分组约束、交互选择不准确以及被丢弃 token 的注意力贡献丢失三个来源，并提出免训练的 Meta-Cached Sparse Attention（MC-Sparse）框架。
来源：arXiv · arxiv.org