arXiv cs.AI· Libiao Chen, Xiyang Liu, Yanheng Wei, Zhenyu Tang·· 1 天前AI 评分28
UMER：用成对判别式推理统一嵌入与排序，实现通用多模态检索
UMER: Unifying Embedding and Ranking via Pair-Aware Discriminative Reasoning for Universal Multimodal Retrieval
AI 导读
UMER 提出统一多模态嵌入与排序框架，用成对判别式推理替代逐项推理，让单个 MLLM 同时学习用于全局匹配的对比嵌入和用于成对相关性判断的判别式排序。在 MMEB-V2 上，UMER-R 搭配 Qwen2-VL-2B/7B 分别得分 65.5/70.6，超过最强同骨干基线 1.4/2.0 分。该框架还支持从高效嵌入检索到可选成对重排序的预算可调推理。
正文 · AI 翻译
摘要：现代 Web 信息访问日益涉及异构多模态内容，包括图像、视频和视觉信息丰富的文档。用户可能不仅寻求全局相似的内容，还寻求在复杂指令下满足细粒度属性、关系或答案证据的候选内容。支持此类访问既需要高效的语料库规模检索，也需要细粒度的相关性推理。基于多模态大语言模型（MLLM）的嵌入方法从 MLLM 隐藏状态中导出表示，近期工作进一步利用思维链（CoT）推理，通过将中间语义证据注入表示来提升嵌入能力。然而，现有的 CoT 方法通常对查询和候选内容进行逐项孤立推理，无法提供明确证据来区分正例与语义上易混淆的难负例。此外，对比嵌入能捕捉全局相似性，但难以应对需要答案验证、类别判断或细粒度推理的元任务。本文提出 UMER，一个用于通用多模态检索的统一多模态嵌入与排序框架。UMER 用成对感知判别推理取代逐项反思，通过比较查询-候选对来识别与指令相关的匹配和差异证据。UMER 在单个 MLLM 中联合学习用于高效全局匹配的对比嵌入和用于显式成对相关性判断的判别排序。一种互补的互蒸馏策略进一步在嵌入与排序功能之间传递可靠的成对偏好。在 MMEB-V2 上，UMER-R 使用 Qwen2-VL-2B/7B 分别得分 65.5/70.6，比最强的同骨干基线高出 1.4/2.0 分。UMER 还支持从高效嵌入检索到可选的成对感知重排序的预算可调推理。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2608.18504 [cs.AI] |
| （或 arXiv:2608.18504v3 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2608.18504 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Xiyang Liu [查看邮箱]
[v1]
2026年8月19日 星期三 03:51:39 UTC（2,985 KB）
[v2]
2026年8月26日 星期三 06:46:11 UTC（2,985 KB）
[v3]
2026年11月11日 星期三 06:52:56 UTC（3,529 KB）
来源：arXiv cs.AI · arxiv.org