arXiv cs.AI· Tongkun Guan, Zhibo Yang, Mingkun Yang, Haocheng Wang, Wei Shen, Xiaokang Yang·· 12 小时前AI 评分38
PerceptRL：让 MLLM 的视觉感知从答案到交互皆可奖励
PerceptRL: Making Visual Perception Rewardable in MLLMs from Answers to Interactions
AI 导读
PerceptRL 通过 Perception RL 与 Perception Agentic RL 两级方法强化多模态大模型的细粒度视觉感知，前者用多智能体流水线从密集图像描述中提取可验证错误并转为固定答案的 QA 对与规则奖励，后者以多轮视觉工具检查处理单轮难以解决的密集案例。
正文 · AI 翻译
摘要：细粒度视觉感知仍然是多模态大语言模型（MLLM）后训练阶段的瓶颈，因为感知错误会限制以推理为中心的优化所带来的收益。尽管图像描述预训练能够提升感知能力，但随着后续阶段改变数据混合方式和目标，其影响可能会减弱。在后训练期间持续进行描述监督颇具挑战，因为主观且信息密集的描述使可验证奖励的设计变得复杂。我们提出 PerceptRL，从两个互补层面增强感知能力。感知强化学习（Perception RL）使用多智能体流水线从密集图像描述中提取经核实的错误，并将相应的视觉事实转换为具有固定答案标签和基于规则奖励的问答对。链式问答（Chain QA）将相关错误关联起来，而多项选择问答则组合不相关的错误。一条专用路径针对高错误领域进行定制化验证，一条与领域无关的通用路径则覆盖这些领域之外的错误。感知智能体强化学习（Perception Agentic RL）通过借助视觉工具进行多轮检查，解决单轮 Perception RL 无法处理的细粒度和密集案例。我们观察到，即使在经过工具使用训练的模型中也会出现坐标漂移，错误的裁剪或标注会扭曲证据并传播错误。坐标注入（Coordinate Injection）在冷启动轨迹中纠正空间操作，而具备定位感知的过程奖励则在监督最终答案正确性的同时监督中间空间保真度。训练依次经过共享冷启动 SFT、单轮 Perception RL 和多轮 Perception Agentic RL。在共享工具使用协议下的七个基准测试中，PerceptRL 达到 71.6% 的平均准确率，分别比使用相同工具的基座模型和评估中最强的前沿 VLM 高出 15.7 和 5.2 个百分点。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.37471 [cs.CV] |
| （或本版本使用 arXiv:2610.37471v1 [cs.CV]） | |
| https://doi.org/10.48550/arXiv.2610.37471 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Tongkun Guan [查看邮箱]
[v1]
2026年10月27日星期二 16:04:10 UTC（16,771 KB）
来源：arXiv cs.AI · arxiv.org