arXiv cs.AI· Meng Lu, Ligeng Zhu, Olivia Xiao, Yuchen Zhuang, Zihan Wang, Kuncheng Wu, Bangya Liu, Yu Wang, Charles Fleming, Wenqi Shi, Xuan Wang·· 9 天前AI 评分25
VICO:面向视觉语言模型推理的视觉环境协同演化框架
VICO: Visual Environments Co-Evolving for Vision-Language Model Reasoning
AI 导读
VICO 是一个让 actor 与 Environment-as-Rewriter(EnvRewriter)联合训练的协同演化框架,EnvRewriter 通过编辑场景图、图表表格或保护区域掩码等图像侧结构并重新渲染,生成难度与 actor 当前能力匹配的标签有效训练样本。
正文 · AI 翻译
作者:Meng Lu、Ligeng Zhu、Olivia Xiao、Yuchen Zhuang、Zihan Wang、Kuncheng Wu、Bangya Liu、Yu Wang、Charles Fleming、Wenqi Shi、Xuan Wang
摘要:带可验证奖励的强化学习(RLVR)已成为视觉语言模型(VLM)后训练的标准方案,
但它通常假设训练环境是静态的。随着 actor 能力提升,固定任务会逐渐偏离其学习前沿:许多
任务变得过于简单,另一些则始终无法解决;学习信号随之崩溃。我们认为,VLM 后训练应当让
视觉环境与 actor 共同演化,而不仅仅是演化 actor 本身。我们提出 VICO,一个协同演化框架,其中 actor
与“环境即改写器”(EnvRewriter)联合训练:EnvRewriter 编辑可验证的图像侧结构,例如
场景图、图表表格或受保护区域掩码,并重新渲染它们,以生成标签有效的训练样本,其难度
通过基于通过率的奖励与 actor 当前能力相匹配。该循环在无需任何额外人工标注的情况下,持续将任务难度与
actor 能力重新对齐。在涵盖数学推理和
视觉基础理解的九个多模态基准上,VICO-8B 在域外任务上相较其基础模型提升最高达 +5.0%,超越最强的
自演化与文本编辑协同演化基线分别 +4.3% 和 +8.4%,并在使用少 16-160 倍标注样本的情况下,与图表专用
RLVR 方法保持相当。通过从人工标注监督转向图像编辑协同演化,
VICO 为视觉推理提供了一条超越静态语料 RLVR 的可扩展路径。
| 学科: | 计算机视觉与模式识别(cs.CV);人工智能(cs.AI) |
| 引用为: | arXiv:2610.10782 [cs.CV] |
| (或本版本使用 arXiv:2610.10782v1 [cs.CV]) | |
| https://doi.org/10.48550/arXiv.2610.10782 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Meng Lu [查看邮箱]
[v1]
2026年10月7日星期三 18:39:32 UTC(22,719 KB)
来源:arXiv cs.AI · arxiv.org