arXiv cs.AI· Hongbin Lin, Sizhe Zou, Juangui Xu, Xinyue Xu, Zhuoli Ouyang, Stanislav Kolchin, Chengwei Qin, Zhongxiang Dai, Yao Shu·· 10 小时前AI 评分32
DR-BOLT:面向自适应 VLM 推理的双参考离线优化
Learning When to Think: Dual-Reference Offline Optimization for Adaptive VLM Reasoning
AI 导读
针对 VLM 强制长推理导致过度思考的问题,研究者提出双参考离线优化方法 DR-BOLT,区分快/慢思考的混合参考分布与采样分布,并在奖励加权训练中校正二者偏差。
正文 · AI 翻译
摘要:推理轨迹可提升视觉语言模型在复杂多模态任务上的表现,但强制每个输入都遵循长推理过程会导致过度思考和不必要的推理成本。我们研究 VLM 的自适应快/慢思考,即一个模型对简单输入直接作答,在需要时逐步推理。快速答案和慢速轨迹往往来自不同的行为策略,使得单参考离线目标对某一模式加权不当。我们提出 DUAL-REFERENCE BOLT(DR-BOLT),它将期望的快/慢混合参考与采样分布区分开,并在奖励加权训练中校正二者的不匹配。快/慢划分竞争解释了最优目标中的路由;当响应格式良好分离时,一种高效的按来源校正可近似精确目标。匹配的 Qwen3-VL 对比使用相同的候选库,以将目标与慢教师质量隔离开来。DR-BOLT 在 ScienceQA 和三个留出迁移基准上改善了得分-长度权衡,优于所评估的离线与在线基线,跨基准慢速比例为 24.1%,相比复现的 GRPO 实现 2.90 倍的端到端训练加速。这些结果支持所研究的双参考设定下的自适应推理,而更广泛的鲁棒性仍有待探索。我们的代码见 此 https URL。
| Comments: | 已被 NeurIPS 2026 接收 |
| Subjects: | 人工智能(cs.AI) |
| Cite as: | arXiv:2611.09154 [cs.AI] |
| (或 arXiv:2611.09154v2 [cs.AI] 查看此版本) | |
| https://doi.org/10.48550/arXiv.2611.09154 由 DataCite 颁发的 arXiv DOI |
Submission history
来自:Sizhe Zou [查看邮箱]
[v1]
2026年11月6日星期五 08:35:20 UTC(1,305 KB)
[v2]
2026年11月18日星期三 09:04:18 UTC(1,305 KB)
来源:arXiv cs.AI · arxiv.org