研究者提出推理前缀掩码的VLM蒸馏框架
热点事件持续更新
研究者提出推理前缀掩码的VLM蒸馏框架
1 篇报道1 个报道来源10 小时前更新
先了解这件事
AI 综述
Seonghoon Yu 等研究者提出一种 think-answer 蒸馏框架，通过掩码学生模型的显著推理前缀，迫使其在推理过程中更多依赖视觉证据，以缓解长推理链中的视觉遗忘问题。 该方法包含 token 级显著推理前缀掩码，以及按师生分布差异衡量的自适应掩码预算调度，并在蒸馏阶段替代标准因果掩码。 作者称，该方法在多模态推理基准上优于近期开源 VLM、VLM 蒸馏与自蒸馏方法，分析显示学生思考过程中的视觉利用率得到提升。
AI 根据报道生成 · 1 小时前更新
最新进展11月9日 13:00
Hide to See：面向 VLM 蒸馏中视觉锚定思考的推理前缀掩码方法报道时间线
沿着报道，了解事件的不同侧面。
11月9日
- arXiv cs.CLHide to See：面向 VLM 蒸馏中视觉锚定思考的推理前缀掩码方法
研究者提出一种 think-answer 蒸馏框架，通过掩码学生模型的显著推理前缀，迫使其在推理过程中更多依赖视觉证据，以缓解长推理链中的视觉遗忘问题。方法包含 token 级显著推理前缀掩码和按师生分布差异衡量的自适应掩码预算调度，并在蒸馏阶段替代标准因果掩码。在多模态推理基准上，该方法优于近期开源 VLM、VLM 蒸馏与自蒸馏方法，分析显示学生思考过程中的视觉利用率得到提升。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。