arXiv cs.CL· Shijue Huang, Hangyu Guo, Guanting Dong, Chenxin Li, Junting Lu, Xinyu Geng, Zhaochen Su, Zhenyu Li, Shuang Chen, Hongru Wang, Yi R. Fung·· 11 小时前AI 评分35
面向视觉原生多模态深度搜索智能体的同策略数据进化方法
Towards On-Policy Data Evolution for Visual-Native Multimodal Deep Search Agents
AI 导读
研究者提出 On-policy Data Evolution（ODE），通过以图像库引用协议为核心的视觉原生智能体框架，让工具返回的中间图像可被后续工具复用，并基于当前策略的 rollout 逐轮迭代生成训练数据。
正文 · AI 翻译
作者：Shijue Huang、Hangyu Guo、Guanting Dong、Chenxin Li、Junting Lu、Xinyu Geng、Zhaochen Su、Zhenyu Li、Shuang Chen、Hongru Wang、Yi R. Fung
摘要：多模态深度搜索要求智能体在不断演变的文本与视觉上下文中，通过串联搜索、工具使用和视觉推理来解决开放世界问题。当前系统受限于两个瓶颈。第一，现有的工具使用框架将搜索、浏览或变换返回的图像视为临时输出，因此中间视觉证据无法被后续工具再次使用。第二，训练数据通常由固定的构建配方生成，无法跟踪目标智能体不断演进的能力。为应对这些挑战，我们首先引入一种以图像库引用协议为核心的视觉原生智能体框架，该协议将每个工具返回的图像注册为可寻址的 <image:N> 引用，使中间视觉证据可被后续工具复用。在此框架之上，On-policy Data Evolution（ODE）运行一个闭环数据生成器，它根据正在训练的策略的 rollout 在多轮中自我改进。这种逐轮改进使每一轮的数据都针对当前策略仍需学习的内容。同一框架既支持多样化的监督微调数据，也支持策略感知的强化学习数据构建，覆盖目标智能体的完整训练生命周期。在 8 个多模态深度搜索基准上，ODE 将 Qwen3-VL-8B 智能体的平均成绩从 24.9% 提升至 39.0%。在 30B 规模下，ODE 将平均分数从 30.6% 提升至 41.5%。进一步的分析验证了图像库复用的有效性，尤其是在需要迭代视觉细化的复杂任务上；同时，基于 rollout 反馈的演化相比静态合成，能产生更扎实的 SFT 轨迹和与策略更匹配的 RL 任务。
| 评论： | NeurIPS 2026 |
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2605.10832 [cs.CL] |
| （或 arXiv:2605.10832v3 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2605.10832 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Shijue Huang [查看邮箱]
[v1]
2026年5月11日星期一 16:49:36 UTC（1,845 KB）
[v2]
2026年6月5日星期五 07:49:38 UTC（1,845 KB）
[v3]
2026年11月4日星期三 16:30:19 UTC（2,013 KB）
来源：arXiv cs.CL · arxiv.org