arXiv cs.AI· Tianyu Yang, Yijun Tian, Lars Benedikt Kaesberg, Jan Philip Wahle, Bela Gipp, Terry Ruas, Daniel Kurzawe·· 11 小时前AI 评分29
PILOT：用特权推理探索改进多模态嵌入
Beyond Post-Hoc Rewards: Privileged Reasoning Exploration for Multimodal Embeddings
AI 导读
研究者提出 PILOT 框架，将推理建模为隐变量，用共享 MLLM 的两种推理模式分别实现仅依赖输入的先验分布和引入训练时关系证据的后验分布，并通过重要性加权变分目标让二者协同进化。
正文 · AI 翻译
摘要：多模态大语言模型（MLLMs）的进展推动了多模态嵌入的显著进步。近期方法利用生成能力，通过自生成的推理增强嵌入输入，以产生信息更丰富的嵌入。然而，用于训练嵌入模型的传统检索监督仅指定成对的相关性关系，并未明确引导用于输入增强的推理。此类推理既无法直接观测，也不由输入唯一确定，因此多种可能的推理轨迹会引入具有不同检索效用的语义线索。现有方法大多仅以输入为条件优化推理，限制了对检索相关轨迹的探索。我们提出 PILOT，一个将推理建模为隐变量的框架，并将推理的先验分布和后验分布实例化为共享 MLLM 的两种不同推理模式。先验仅以输入为条件，而后验利用额外的训练时关系证据来引导推理探索。为了将后验更广泛的探索转化为推理时的提升，我们推导了一个重要性加权变分目标，并将其实例化为先验-后验协同演化框架，该框架在共享的、与推理兼容的奖励下改进两种模式，同时根据后验轨迹的效用和先验可达性，选择性地将后验轨迹迁移到先验。在 78 项任务的 MMEB-V2 基准上，PILOT 在 2B 和 7B 参数规模下均优于主要基线，覆盖全部 12 个任务组，总体得分分别提升 3.2 和 3.3 分，其中视觉文档检索提升最大（+6.1 和 +6.4 分）。我们的结果表明，关系监督最有价值之处并非作为事后奖励，而是作为塑造推理增强嵌入模型训练中推理探索方式的信号。
| 学科： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.32474 [cs.AI] |
| （或本版本的 arXiv:2610.32474v1 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2610.32474 arXiv 颁发的 DOI（通过 DataCite，待注册） |
提交历史
来自：Tianyu Yang [查看邮箱]
[v1]
2026年10月23日星期五 10:43:41 UTC（640 KB）
来源：arXiv cs.AI · arxiv.org