arXiv cs.AI· Jiawei Wang, Yucun Li, Xueqi Li, Shenghao Wang, Xinquan Gong, Dan Zhang, Zheqi Lv, Yuquan Le, Shaozu Yuan, An Zhang, Da Cao, Tat-Seng Chua·· 11 小时前AI 评分34
VisualEvolve：面向视觉推理的技能自进化框架
VisualEvolve: A Skill Self-Evolution Framework for Visual Reasoning
AI 导读
VisualEvolve 是一个通过 Select–Execute–Evolve–Evaluate 循环让 VLM 的可执行视觉操作与工具使用策略自进化的框架，在 4 个 VLM 骨干和 3 个 benchmark 的 6 个评测集上，24 个设置中有 23 个优于初始技能库，Qwen3.5-Plus 在 VisualProbe Hard 上最大提升 15.1 个百分点。
正文 · AI 翻译
作者：Jiawei Wang、Yucun Li、Xueqi Li、Shenghao Wang、Xinquan Gong、Dan Zhang、Zheqi Lv、Yuquan Le、Shaozu Yuan、An Zhang、Da Cao、Tat-Seng Chua
摘要：视觉工具使用使视觉语言模型（VLM）能够获取与任务相关的证据，但其有效性可能受限于预定义的视觉操作和训练期间学到的工具使用策略。将这些操作和策略表示为可复用的外部技能，使其能够通过自我进化进行改进，而无需更新模型参数。然而，技能改进可能引入性能回退。同时，检查累积的任务执行轨迹以及技能进化历史可能导致进化证据过载。为应对这些挑战，我们提出 VisualEvolve，一个自我进化框架，通过“选择—执行—进化—评估”循环为 VLM 进化可执行的视觉操作和工具使用策略。技能库快照选择利用在与执行任务不相交的固定验证集上的性能，为后续进化选择一个有效的历史快照，从而限制性能回退的传播。渐进式证据访问（PEA）通过由粗到细的层级结构引导能力差距诊断，该结构包括技能性能报告、进化日志、轨迹摘要和相关原始轨迹片段。在四个 VLM 主干和来自三个基准的六个评估集上，VisualEvolve 在 24 个设置中的 23 个上优于初始技能库，在使用 Qwen3.5-Plus 的 VisualProbe Hard 上最大提升为 15.1 个百分点。消融研究支持快照选择和 PEA 的贡献，进一步实验表明，技能可以利用不同数据设置的经验进行改进，并可直接跨主干复用。此外，VisualEvolve 能够实现有效的技能自我进化，其所需的任务求解轨迹比代表性 RL 方法的估计值少一个数量级以上。
| 评论： | 29 页，9 张图。项目页面：此 https URL |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.28386 [cs.CV] |
| （或 arXiv:2610.28386v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.28386 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jiawei Wang [查看电子邮件]
[v1]
2026 年 10 月 20 日星期二 15:37:38 UTC（3,976 KB）
来源：arXiv cs.AI · arxiv.org