arXiv cs.AI· Ekko He, Jack Hong, Shilin Yan, Xintong Zhang, Yujie Zhang, Wenjie Li, Haoran Sun, Kaixun Jiang, Jiyuan Fu, Guannan Zhang, Hongwei Xue·· 3 天前AI 评分29
Neos：让多模态深度搜索智能体学会交错搜索与视觉推理
Neos: Learning to Interleave Search and Visual Reasoning
AI 导读
多模态深度搜索框架 Neos 通过可训练的多模态证据接口（MEI）将检索内容转化为目标条件观测，并用智能体-环境协同演化流程交替进行策略强化学习与 MEI 监督微调，使证据获取与证据驱动决策形成闭环。Neos-9B 和 Neos-35B 在十项基准上取得专业多模态深度搜索智能体中的领先表现。
正文 · AI 翻译
作者：Ekko He、Jack Hong、Shilin Yan、Xintong Zhang、Yujie Zhang、Wenjie Li、Haoran Sun、Kaixun Jiang、Jiyuan Fu、Guannan Zhang、Hongwei Xue
摘要：近期多模态深度搜索智能体在工具使用和视觉内容检索方面取得了进展，但仍难以将中间视觉证据转化为对后续搜索的可操作指导，限制了其在长时程场景中的有效性。为弥补这一差距，我们提出了 Neos，一个多模态深度搜索框架，它同时学习如何获取证据以及如何利用证据指导后续决策。为使这种耦合可学习，Neos 构建了具有中间视觉依赖的训练任务，同时过滤掉文本捷径，并引入了一个轻量级、可训练的多模态证据接口（MEI），将检索到的内容转化为目标条件化的观测。其核心是一个智能体-环境协同演化过程，将 MEI 视为该循环中可协同适应的组件。具体而言，参考引导的信用分配利用已验证的成功轨迹来定位关键策略错误，同时保留失败搜索中有用决策的信用，而 rollout 反馈则选择信息量大的局部证据处理交互用于 MEI 的监督微调（SFT）。通过交替进行策略强化学习（RL）与 MEI SFT，Neos 使策略不断演化的证据请求塑造 MEI 训练，而适应后的 MEI 重塑后续观测，从而闭合证据获取与证据条件化行动之间的循环。在十个基准测试中，Neos-9B 和 Neos-35B 在专用多模态深度搜索智能体中展现出领先性能。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.17043 [cs.AI] |
| （或 arXiv:2610.17043v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.17043 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Xingqi He [查看邮箱]
[v1]
2026年10月12日星期一 16:16:44 UTC（6,348 KB）
来源：arXiv cs.AI · arxiv.org