arXiv cs.AI· Suxin Ji, Hungtao Wan, Mingjun Liu, An Zhang·· 10 天前AI 评分22
Selective-RL：选择性迁移 RL 更新提升视觉推理能力
Selective Transfer of RL Updates for Visual Reasoning
AI 导读
Selective-RL 通过隔离强化学习阶段的参数更新、保留其主导矩阵方向并迁移至 VLM 的语言模块，在三个模型家族、五个视觉推理基准的 15 项对比中有 12 项优于全量更新插值，Qwen 接收模型在 MathVision 上提升 8.55 个百分点。匹配对照实验表明，仅靠更新幅度或任意低秩无法复现这些增益。代码已开源。
正文 · AI 翻译
摘要：模型合并提供了一种无需训练即可将推理能力从语言模型迁移到视觉语言模型（VLM）的方法，但基于端点的迁移可能会将模型原有的差异与推理后训练期间获得的变化混为一谈。我们转而围绕训练阶段更新来构建能力迁移，分离出由强化学习（RL）引起的参数变化。然而，完整迁移这一更新仍非最优：我们发现其各组成部分在跨模型可迁移性上存在显著差异，主导方向比完整更新迁移得更有效。基于这一发现，我们提出了 Selective-RL，它分离出 RL 阶段的更新，保留其主导的矩阵级方向并保持幅度，然后将其迁移到 VLM 的语言模块中。在三个模型系列和五个视觉推理基准上，Selective-RL 在 15 项比较中有 12 项优于完整更新插值，包括在 Qwen 接收模型上 MathVision 提升 8.55 个百分点。匹配对照表明，仅靠更新幅度或任意低秩并不能复现这些增益。这些结果凸显了后训练期间所获得的内容与跨模型仍可迁移的内容之间的区别，为跨模型能力迁移提供了训练阶段的视角。代码见 this https URL。
| 学科： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.08659 [cs.CV] |
| （或 arXiv:2610.08659v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.08659 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Suxin Ji [查看邮箱]
[v1]
2026年10月6日星期二 16:43:55 UTC（2,711 KB）
来源：arXiv cs.AI · arxiv.org