arXiv cs.AI· Xintao Zong, Wenxuan Liu, Jianhao Ding, Zhaofei Yu, Tiejun Huang·· 9 天前AI 评分24
MSGAT：面向图像-文本检索的多头脉冲图注意力与相似度空间融合
MSGAT: Multi-Head Spiking Graph Attention with Similarity-Space Fusion for Image-Text Retrieval
AI 导读
针对脉冲神经网络（SNN）在图像-文本检索中难以捕捉跨模态对齐所需语义结构的问题，研究者提出多头脉冲图注意力网络 MSGAT，并配备动态注意力头以进行脉冲驱动的图推理与聚合。
正文 · AI 翻译
摘要：脉冲神经网络（SNN）通过稀疏的事件驱动计算提供了一种高能效的计算范式，在高效多模态学习方面展现出巨大潜力。然而，将 SNN 应用于图像文本检索（ITR）等高级多模态任务仍然具有挑战性，因为稀疏的脉冲表示难以捕捉跨模态对齐所需的语义结构。现有的脉冲 ITR 方法依赖局部对齐和训练期间的额外软标签监督，同时缺乏对结构和多粒度关系的感知。为解决这些问题，我们提出了一种多头脉冲图注意力网络（\textbf{MSGAT}）用于结构建模，并为其配备动态注意力头以捕捉互补的关系模式，实现脉冲驱动的图推理与聚合。然而，在双分支多粒度融合框架中，MSGAT 生成的细粒度脉冲表示是稀疏且离散的，而全局表示是连续的，使得传统的特征级融合容易受到异构表示之间的干扰。因此，我们引入了 \textbf{Sim-Fuse}，一种相似度空间融合对齐策略，整合粗粒度和细粒度匹配关系，同时避免直接融合异构表示。在 Flickr30K 和 MSCOCO 上的实验表明，我们的方法在匹配设置下优于 ANN 方法以及现有的 SNN 检索基线。此外，仅需两个时间步，我们的 SNN 就达到了与其 ANN 对应方法相当或更优的性能，同时将理论模块级能耗降低了 55\%。代码见补充材料。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用格式： | arXiv:2610.11526 [cs.CV] |
| （或 arXiv:2610.11526v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.11526 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
来自：Xintao Zong [查看邮箱]
[v1]
2026年10月8日星期四 08:56:27 UTC（3,585 KB）
来源：arXiv cs.AI · arxiv.org