UniPRO研究多模态融合顺序对检索的影响

Haoxiang Zhao等作者提出UniPRO框架，在组件与训练设置一致的条件下，研究多模态视频检索中融合顺序对性能的影响。实验发现，逐模态融合优于堆叠融合，且改变融合顺序会改变性能。 在R@1指标上，文本与音频检索偏好把与查询匹配的模态放在最后；训练和测试中人为缺失语音则会反转这一偏好顺序。据此预测的“视觉最后”方案在MSR-VTT-9k上取得97.9 R@1，为所评估顺序中最高。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。