arXiv cs.AI· Ziqi Miao, Haonan Jia, Lijun Li, Chen Qian, Yuan Xiong, Wenting Yan, Yongyao Wang, Zaoying Huang, Ken Deng, Jing Shao·· 4 小时前AI 评分34
PRCO:面向多模态推理的感知-推理协同进化框架
Seeing with You: Perception-Reasoning Coevolution for Multimodal Reasoning
AI 导读
PRCO 是一个双角色 RLVR 框架,用共享策略让 Observer 生成针对问题的证据描述、Solver 基于该描述给出最终答案,并分别施加可验证结果奖励与下游效用奖励。在八个多模态推理基准上,PRCO 相比基座模型平均准确率提升超过 7 分,优于此前的开源 RL 微调基线。
正文 · AI 翻译
摘要:基于可验证奖励的强化学习(RLVR)显著提升了多模态大语言模型(MLLMs)的推理能力。然而,现有的 RLVR 方法通常依赖结果驱动的优化,即仅基于最终答案的共享奖励来同时更新感知与推理。这种共享奖励模糊了信用分配,往往能改进推理模式,却无法可靠地提升上游视觉证据提取的准确性。为解决这一感知瓶颈,我们提出了 PRCO(感知-推理协同进化),一种具有共享策略的双角色 RLVR 框架。PRCO 由两个协作角色组成:一个 Observer,生成针对问题定制的证据描述;一个 Solver,基于该描述预测最终答案。关键在于,PRCO 采用角色特定的奖励信号:Solver 使用针对最终答案的可验证结果奖励进行优化,而 Observer 则获得由 Solver 下游成功所衍生的效用奖励。在八个具有挑战性的多模态推理基准上的大量实验表明,PRCO 在不同模型规模上均带来一致的提升,平均准确率相比基座模型提升超过 7 个点,优于先前的开源 RL 调优基线。
| 评论: | 21 页,15 幅图,6 张表 |
| 主题: | 人工智能(cs.AI) |
| 引用为: | arXiv:2603.28618 [cs.AI] |
| (或 arXiv:2603.28618v3 [cs.AI] 查看此版本) | |
| https://doi.org/10.48550/arXiv.2603.28618 由 DataCite 颁发的 arXiv DOI |
|
| 期刊 参考: | EMNLP 2026 |
提交历史
来自:Miao Ziqi [查看邮箱]
[v1]
2026 年 3 月 30 日星期一 16:03:56 UTC(2,178 KB)
[v2]
2026 年 4 月 9 日星期四 14:15:05 UTC(2,177 KB)
[v3]
2026 年 11 月 17 日星期二 12:57:34 UTC(2,175 KB)
来源:arXiv cs.AI · arxiv.org