arXiv cs.AI· Zhihan Yin, Ruyi Li, Chengyu Fang, Yifeng Yao, Nonghai Zhang, Pengfei Xiong, Terry Zhang, Huishuai Zhang, Dongyan Zhao·· 11 小时前AI 评分38
ModalSearcher：将视觉证据编织进自主跨模态深度搜索
ModalSearcher: Weaving Visual Evidence into Autonomous Cross-Modal Deep Search
AI 导读
ModalSearcher-8B 在五个多模态知识密集型 QA 基准上，相比 Qwen3-VL-8B 在相同智能体工作流下平均准确率提升 16.2 分。研究提出 ModalSearch-Pipeline 构建交错多模态知识图谱，并定义自主跨模态搜索：智能体可在直接推理、文搜文、文搜图与反向图搜间自主切换。
正文 · AI 翻译
摘要：静态且不完整的参数化知识限制了多模态大语言模型在新颖知识和知识密集型任务上的表现，尤其是那些需要多跳证据获取的任务。现有的多模态智能体搜索方法往往将视觉证据固定在输入或预定义的轨迹位置上，使得智能体难以随着信息需求的变化选择搜索模态，也难以处理复杂的真实世界查询。我们将这一能力定义为自主跨模态搜索：智能体在直接推理、文本到文本搜索、文本到图像搜索和反向图像搜索之间进行选择，在适当的时候主动引入视觉证据，并在多跳过程中切换和整合不同模态。我们提出了 ModalSearch-Pipeline，一种用于构建交错多模态知识图谱的可扩展流程。它采样具有不同深度和模态组合的路径，并使用反向问题构建来遮蔽会暴露推理捷径的实体名称和图像目标，同时保留必要的消歧线索，从而生成纯文本、图像初始化和任意交错的多跳问题。我们在实时 Web 环境中通过监督微调和强化学习训练了 ModalSearcher Agent，并构建了 ModalSearch-Bench。实验表明，在五个多模态知识密集型 QA 基准上，ModalSearcher-8B 在相同智能体工作流下比 Qwen3-VL-8B 的平均准确率提高了 16.2 个百分点，在独立构建的主动视觉搜索基准上也取得了一致的提升。
| 评论： | 29页 |
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2611.06131 [cs.AI] |
| （或 arXiv:2611.06131v1 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.06131 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zhihan Yin [查看邮箱]
[v1]
2026年11月4日星期三 08:14:50 UTC（17,799 KB）
来源：arXiv cs.AI · arxiv.org