arXiv cs.CL· Yuhong Zhou, Yubo Gao, Xiangbo Shu·· 10 小时前AI 评分26
ConstraintMatch：通过约束区域证据选择实现组合式图文匹配
ConstraintMatch: Compositional Image-Text Matching through Constrained Regional Evidence Selection
AI 导读
ConstraintMatch 是一种免训练推理方法，将实体级区域一致性转化为显式匹配代价，在冻结的条件—区域相似度矩阵上比较各类别与属性的独立裁剪选择与实体共享裁剪选择之间的差距。
正文 · AI 翻译
摘要：局部图像—文本匹配可以为单个概念找到有力证据，却可能偏向属性—实体绑定错误的描述。我们提出 ConstraintMatch，一种免训练的推理方法，将实体级区域一致性转化为显式的匹配代价。在同一个冻结的条件—区域相似度矩阵上，它比较每个类别和属性各自独立的裁剪选择与每个实体内共享裁剪选择之间的差异。二者的差距量化了放松共享区域约束所获得的分数优势。来自同一图像的空间参考通过保持类别证据不变、同时联合平移实体的属性图来校准这一差距。逐实体裁剪可防止残差之间相互抵消，缩放后的平均代价从全局相似度中减去。ConstraintMatch 使用池化嵌入，空间校准无需额外调用编码器。在跨任务为每个骨干网络固定参数的情况下，ConstraintMatch 在完整 ARO Attribute 上比全局匹配提升 7.70 个百分点，在留出的 SugarCrepe++ 属性交换上提升 5.63 个百分点，均为 Qwen~2B 与 CORE~2B 的平均值。与适配到相同 13 裁剪预算的 SGI 相比，相应增益分别为 4.85 和 3.51 个百分点。受控分析区分了共享区域匹配与候选分数校准的影响。这些结果确立了实体级证据选择作为组合式多模态检索的一种实用评分原则。
| 主题： | 计算机视觉与模式识别（cs.CV）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.00784 [cs.CV] |
| （或 arXiv:2611.00784v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.00784 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Yuhong Zhou [查看邮箱]
[v1]
2026年10月31日星期六 09:57:06 UTC（2,517 KB）
来源：arXiv cs.CL · arxiv.org