arXiv cs.AI· Jiahe Feng·· 3 天前AI 评分22
VC-OPD：面向视觉语言推理的视觉反事实在线策略蒸馏
VC-OPD: Visual Counterfactual On-Policy Distillation for Grounded Vision-Language Reasoning
AI 导读
VC-OPD 是一种面向视觉语言推理的在线策略蒸馏方法，通过对比原始图像与破坏实例证据的反事实图像下教师的输出差异，估计 token 级视觉依赖并据此对损失加权，再以保质量归一化稳定更新尺度。该方法在教师监督热启动后执行在线策略蒸馏，在多模态推理基准上提升了视觉推理表现，并产生更有效的 token 级蒸馏。
正文 · AI 翻译
摘要：GRPO 风格的强化学习推动了视觉语言推理的发展，但其序列级奖励对单个推理 token 的信用分配能力有限。同策略蒸馏（OPD）通过在学生生成的轨迹上提供密集监督来解决这一问题，然而标准 OPD 对所有教师偏好的 token 赋予相似的重要性，包括模板短语和与视觉无关的续写内容。我们提出视觉反事实同策略蒸馏（VC-OPD），一种基于视觉定位的蒸馏方法，优先考虑其正确性依赖于图像特定证据的 token。在教师监督的预热阶段稳定响应格式并减少噪声 rollout 之后，VC-OPD 对每条学生轨迹执行同策略蒸馏，并进行两次教师评估：一次在原始图像下，一次在实例特定证据被破坏的反事实图像下。原始图像的教师分布决定蒸馏目标，而原始—反事实教师差距估计 token 级别的视觉依赖程度，并据此对损失进行软重加权。为避免响应级更新尺度不稳定，VC-OPD 进一步对 token 权重施加质量保持归一化。这一设计在保留 OPD 密集监督的同时，将学习能力转向具有视觉依据的推理 token。在多模态推理基准上的实验表明，VC-OPD 提升了视觉推理性能，并产生了更有效的 token 级蒸馏。
| 学科： | 人工智能（cs.AI） |
| ACM 分类： | I.2.7; I.2.6; I.4.8 |
| 引用格式： | arXiv:2610.14939 [cs.AI] |
| （或使用 arXiv:2610.14939v1 [cs.AI] 获取此版本） | |
| https://doi.org/10.48550/arXiv.2610.14939 arXiv 颁发的 DOI，经由 DataCite（待注册） |
提交历史
来自：Jiahe Feng [查看邮箱]
[v1]
2026年10月10日星期六 14:10:43 UTC（4,768 KB）
来源：arXiv cs.AI · arxiv.org