arXiv cs.AI· Wenxi Yang, Yuzhong Zhao, Baochang Zhang, Yunfan Liu, Qixiang Ye·· 3 天前AI 评分32
Marvo：通过 Margin Reward 实现自进化视觉智能体
Self-Evolving Visual Agent via Margin Reward
AI 导读
研究者提出 Marvo，一种从无标注图像中学习工具调用的自进化方法，由生成问答对的 challenger 和通过强化学习解题的 solver 两个智能体组成。其核心是 margin reward，即 solver 在有工具和无工具时表现之差，据此构建自适应课程以鼓励有效工具调用。在智能体推理、视觉搜索、数学及通用真实世界推理等基准上，Marvo 平均准确率最高提升 7.1%。
正文 · AI 翻译
摘要：将推理与工具调用交织进行的视觉智能体为多模态任务展现了一个有前景的方向。然而，学习有效的工具调用通常依赖于大规模精心整理的问答对或专家演示，而这些数据的获取成本高昂。在本研究中，我们提出了 Marvo，一种简单而有效的自进化方法，能够从未标注图像中学习工具调用。Marvo 由两个智能体组成：（1）一个挑战者，从未标注图像中生成问答对；（2）一个求解者，通过强化学习解决这些问题来学习工具调用。为了促进有效的工具调用，一个好的训练问题应当足够困难以值得使用工具，同时又要处于求解者的能力范围之内。为此，我们为挑战者引入了一种边际奖励，定义为求解者在有无工具访问权限时的性能差异。借助边际奖励，我们构建了一个自适应课程，鼓励求解者学习有效的工具调用。在涵盖智能体推理、视觉搜索、数学以及一般真实世界推理的基准测试中，Marvo 将平均准确率最多提升了 7.1\%——这表明边际奖励是在无人工监督下扩展问题复杂度的一种更优方式。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.15084 [cs.AI] |
| （或使用 arXiv:2610.15084v1 [cs.AI] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2610.15084 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Wenxi Yang [查看邮箱]
[v1]
2026年10月10日星期六 17:33:56 UTC（3,668 KB）
来源：arXiv cs.AI · arxiv.org