arXiv cs.CL· Seonghoon Yu, Dongjun Nam, Byung-Kwan Lee, Jeany Son·· 10 小时前AI 评分31
Hide to See：面向 VLM 蒸馏中视觉锚定思考的推理前缀掩码方法
Hide to See: Reasoning-prefix Masking for Visual-anchored Thinking in VLM Distillation
AI 导读
研究者提出一种 think-answer 蒸馏框架，通过掩码学生模型的显著推理前缀，迫使其在推理过程中更多依赖视觉证据，以缓解长推理链中的视觉遗忘问题。方法包含 token 级显著推理前缀掩码和按师生分布差异衡量的自适应掩码预算调度，并在蒸馏阶段替代标准因果掩码。在多模态推理基准上，该方法优于近期开源 VLM、VLM 蒸馏与自蒸馏方法，分析显示学生思考过程中的视觉利用率得到提升。
正文 · AI 翻译
摘要：近期 VLM 中的 think-answer 方法（如 Qwen3-VL-Thinking）通过在最终答案前利用中间思考步骤来提升推理性能，但其计算成本变得相当可观，尤其是对于较大的 VLM。为了将此类能力蒸馏到紧凑的 think-answer VLM 中，一个主要目标是提升学生在整个推理轨迹中利用视觉证据的能力，因为较长的 think-answer 轨迹会遭受视觉遗忘问题。为此，我们提出了一种新颖的 think-answer 蒸馏框架，通过掩蔽学生显著的推理前缀，鼓励学生将其思考锚定在视觉信息上。为了补偿这些被掩蔽的文本线索，我们鼓励学生在蒸馏过程中更多地依赖视觉证据作为替代信息来源。我们的掩蔽策略包括：1）逐 token 的显著推理前缀掩蔽，针对每个下一 token 预测选择性地掩蔽高影响推理前缀；2）自定步调的掩蔽预算调度，根据蒸馏难度（以教师—学生分布之间的差异衡量）逐步增大掩蔽规模。在蒸馏阶段，学生由我们的显著推理前缀掩码引导，该掩码同时屏蔽未来 token 和显著推理线索，取代用于自回归语言建模的标准因果掩码。实验结果表明，我们的方法在多模态推理基准上优于近期开源 VLM、VLM 蒸馏和自蒸馏方法，进一步分析证实学生在思考过程中增强了视觉利用。
| 评论： | 已被 NeurIPS 2026 接收 |
| 主题： | 计算机视觉与模式识别 (cs.CV)；人工智能 (cs.AI)；计算与语言 (cs.CL) |
| 引用为： | arXiv:2605.11651 [cs.CV] |
| （或本版本的 arXiv:2605.11651v5 [cs.CV]） | |
| https://doi.org/10.48550/arXiv.2605.11651 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Seonghoon Yu [查看邮箱]
[v1]
2026年5月12日星期二 07:14:04 UTC (6,058 KB)
[v2]
2026年5月13日星期三 01:49:55 UTC (6,058 KB)
[v3]
2026年5月15日星期五 06:49:33 UTC (6,058 KB)
[v4]
2026年5月26日星期二 04:36:02 UTC (6,058 KB)
[v5]
2026年11月6日星期五 08:21:59 UTC (5,866 KB)
来源：arXiv cs.CL · arxiv.org