arXiv cs.CL· Pengfeng Song, Shaozhong Zhang, Pengfei Shao·· 12 小时前AI 评分20
HFCMA：通过动态粒度发现与最优传输实现层次化细粒度跨模态对齐
Hierarchical Fine-Grained Cross-Modal Alignment via Dynamic Granularity Discovery and Optimal Transport
AI 导读
论文提出层次化细粒度跨模态对齐框架 HFCMA，先用动态粒度发现（DGD）将原始图像 patch 和文本 token 聚合为自适应视觉区域与文本短语，再把区域-短语匹配建模为熵正则化最优传输问题，在全局边际约束下估计结构化对齐矩阵。
正文 · AI 翻译
摘要：细粒度图文检索要求模型不仅评估图像与文本之间的全局语义一致性，还要为局部文本语义（包括对象、属性、数量、动作和关系）建模视觉证据，从而区分语义相似的候选。现有方法通常使用固定的图像块、检测到的区域或文本词元作为基本匹配单元，然后通过最大池化、交叉注意力或相似度累积来聚合局部交互。此类策略在语义单元构建和全局匹配一致性方面仍存在局限。本文提出了一种分层细粒度跨模态对齐框架，称为 HFCMA。该框架逐步将低层图像块和词元表示转换为自适应视觉区域和文本短语，然后在全局检索评分过程中执行结构化的区域-短语匹配。具体而言，HFCMA 首先采用动态粒度发现（DGD）将原始图像块和词元聚合为语义紧凑的视觉区域和文本短语。然后，它将区域-短语匹配建模为熵正则化最优传输问题，从而在全局边缘约束下估计结构化对齐矩阵。为减少背景噪声和局部语义漂移，HFCMA 进一步引入了背景去偏、文本重要性加权和原型一致性正则化。在 Flickr30K 和 MS-COCO 上的实验表明，HFCMA 在双编码器检索框架下有效地将动态语义单元构建与基于最优传输的结构化匹配相结合。所得的细粒度分数为候选排序提供了结构化局部对齐信息，并提高了对细微语义差异的区分能力。
| 评论： | 8 幅图，6 张表。代码可在 此 https URL 获取 |
| 主题： | 计算机视觉与模式识别（cs.CV）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.30912 [cs.CV] |
| （或 arXiv:2610.30912v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.30912 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Pengfeng Song [查看电子邮件]
[v1]
2026年10月22日星期四 08:33:46 UTC（3,020 KB）
来源：arXiv cs.CL · arxiv.org