arXiv cs.AI· Kwanyoung Kim·· 14 小时前AI 评分38
基于稀疏 Hopfield 检索的扩散模型方向性注意力引导（DAG）
Directional Attention Guidance for Diffusion Models via Sparse Hopfield Retrieval
AI 导读
研究者提出 Directional Attention Guidance（DAG），一种无需训练、单次前向的注意力引导规则，仅放大稀疏与稠密注意力差异中与检索方向对齐的分量，从而避免 CFG 的双次推理与空条件训练限制。
正文 · AI 翻译
摘要：无分类器引导（CFG）提升了扩散模型的样本质量，但其双遍推理与空条件训练限制了它在少步场景中的使用。注意力空间引导是一种单遍替代方案，然而稀疏与稠密注意力引导为何有效仍不清楚。我们通过 Modern Hopfield 动力学分析注意力外推，并确立了在共享条件下稀疏-稠密差异的两个方向性性质，从而将其识别为朝向主导存储模式的加速方向。基于此，我们提出方向性注意力引导（DAG），这是一种无需训练的单遍规则，仅放大该差异中与检索方向对齐的分量；其稳定性由弱收缩性质保证，而在真实交叉注意力层内的分析表明，这种对齐在整个采样过程中均可观察到。DAG 可泛化到 UNet 与 MMDiT 骨干网络以及多步与少步场景，在测试的每个骨干网络上（包括 FLUX.1、FLUX.2 和 Qwen-Image）均提升了文本对齐与人类偏好得分，且相比基础采样器每张图像仅增加少量开销。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2603.02531 [cs.LG] |
| （或 arXiv:2603.02531v3 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2603.02531 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Kwanyoung Kim 教授 [查看邮箱]
[v1]
2026年3月3日 星期二 02:44:21 UTC（8,504 KB）
[v2]
2026年5月17日 星期日 04:50:49 UTC（28,735 KB）
[v3]
2026年10月26日 星期一 13:40:23 UTC（8,957 KB）
来源：arXiv cs.AI · arxiv.org