arXiv cs.AI· Haoxiang Zhao, Bin Wang, Yaofei Wang, Xiao Lan, Yunfeng Diao, Xu Wang·· 14 小时前AI 评分20
UniPRO 研究：多模态视频检索中融合顺序如何影响性能
When Fusion Order Matters: Insights on Progressive Multimodal Representation Learning for Cross-modal Retrieval
AI 导读
研究者提出 UniPRO，用可配置融合顺序、组件与训练设置一致的框架研究多模态视频检索中的融合顺序问题。实验发现逐模态融合优于堆叠融合，且顺序变化会改变性能；在 R@1 上，文本与音频检索偏好把与查询匹配的模态放在最后，训练和测试中人为缺失语音则会反转偏好顺序。据此预测的视觉最后方案在 MSR-VTT-9k 上取得 97.9 R@1，为所评估顺序中最高。
正文 · AI 翻译
摘要：多模态视频检索融合了视觉、声学和语音信息，然而它们的融合顺序应如何取决于数据和检索查询仍不清楚。我们提出用于顺序分析的统一渐进表示学习（Unified Progressive Representation Learning for Order Analysis，简称 UniPRO），通过可配置的融合方案，在模型组件和训练设置相匹配的条件下研究这一问题。从文本到视频检索出发，我们发现所测试的逐一融合方案优于堆叠融合，而在逐一融合中改变顺序也会改变性能。为指导顺序选择，我们考察了两个互补的考量：模态可用性不均等下的学习难度，以及与查询相关信息的保留。完整模态对照实验表明，仅凭输入缺失无法解释顺序敏感性。在 R@1 上，文本和音频检索倾向于将匹配查询的模态最后引入的方案。训练和测试期间受控的语音缺失在 R@1 和 SumR 上均逆转了偏好顺序，且交叉点不同。这些发现表明，在选择融合路径时应平衡这两个考量。随后我们利用它们预测出针对图像查询的视觉最后方案，该方案达到 97.9 R@1，在 MSR-VTT-9k 上评估的各顺序中最高。在四个文本到视频基准上的主要实验确立了 UniPRO 的有效性，组件消融评估了其支撑设计。总之，这些结果将融合顺序确定为一项依赖于任务的选择，应同时考虑模态可用性和检索查询。
| 主题： | 人工智能（cs.AI）；信息检索（cs.IR） |
| 引用为： | arXiv:2610.35125 [cs.AI] |
| （或 arXiv:2610.35125v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.35125 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Haoxiang Zhao [查看电子邮件]
[v1]
2026年10月26日星期一 10:00:45 UTC（981 KB）
来源：arXiv cs.AI · arxiv.org