arXiv cs.AI· Shervin Khalafi, Igor Krawczuk, Sergio Rozada, Charilaos Kanatsoulis, Antonio G Marques, Alejandro Ribeiro·· 3 天前AI 评分24
图卷积注意力 GCA：从谱视角理解图去噪与扩散
Graph Convolutional Attention: A Spectral Perspective on Graph Denoising and Diffusion
AI 导读
研究者提出图卷积注意力（GCA），用图滤波后的 query 和 key 实现依赖输入图谱的谱注意力分数，突破标准注意力只能学到训练分布上平均谱滤波器的局限。在合成与真实数据集上，用 GCA 替换标准 query–key 投影可提升图去噪与扩散效果，去噪增益与图谱多样性相关；在 DiGress 生成框架中以 GCA 架构替换 DiGress 架构，生成质量相当且推理显著更快。
正文 · AI 翻译
摘要：图去噪是图学习中的一个基本问题，也是图扩散模型的核心操作。基于注意力的架构（如图 Transformer）在此任务上已展现出潜力，但注意力对图进行去噪的机制仍鲜为人知。我们表明，在图去噪目标下，标准注意力分数会在训练分布上学习到一个平均谱去噪滤波器，当图谱发生变化时便不再最优。为解决这一局限，我们引入了谱注意力分数，即依赖于输入图谱的注意力分数。我们从图分布的谱多样性角度刻画了其相对于标准注意力分数的改进。随后我们提出了图卷积注意力（GCA），这是谱注意力的一种实用实现，使用图滤波后的查询和键。对于渐近大随机块模型，我们证明在适当条件下 GCA 能达到谱注意力的最优去噪损失。我们还表明，softmax 通过将含噪特征向量近似投影到干净特征空间上，可进一步降低去噪误差。在合成和真实数据集上，用 GCA 替换标准查询—键投影可改善图去噪与扩散，且去噪增益与谱多样性相关。此外，在 DiGress 生成框架内用基于 GCA 的架构替换 DiGress 架构，可在显著加快推理速度的同时获得相当的生成质量。
| 学科： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2607.06546 [cs.LG] |
| （或使用 arXiv:2607.06546v2 [cs.LG] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2607.06546 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Shervin Khalafi [查看邮箱]
[v1]
2026年7月7日星期二 17:52:17 UTC（5,679 KB）
[v2]
2026年10月9日星期五 20:55:22 UTC（1,176 KB）
来源：arXiv cs.AI · arxiv.org