arXiv cs.AI· Zhuoming Liu, Jinhong Lin, Kwan Man Cheng, Lin Zhang, Shayok Bagchi, Yin Li·· 13 小时前AI 评分31
DRIFT：用残差流适配器为视觉语言模型解码连续输出
DRIFT: A Residual Flow Adapter for Decoding Continuous Outputs in Vision-Language Models
AI 导读
DRIFT 是一个将预训练视觉语言模型适配到连续解码任务的通用框架，由提供粗略估计的基础预测器与基于流匹配的生成式精修模块组成，把生成建模问题转化为对强先验周围局部残差分布的建模。在视觉定位与机器人控制等感知和规划任务上，跨 MLLM、VLA、WAM 多种架构，DRIFT 一致优于回归类和生成类方案。
正文 · AI 翻译
摘要：许多现代视觉语言模型（VLM）建立在离散 token 的自回归解码之上。虽然基于文本的输出接口能够实现可扩展的预训练，并在多样任务上具备强大的零样本泛化能力，但它们并不适合需要精确连续输出的问题，例如定位事件的时间边界或生成机器人控制动作。为应对这一挑战，我们提出 DRIFT，这是一个用于将预训练 VLM 适配到连续解码任务的通用框架。DRIFT 将提供目标输出粗略估计的基础预测器与基于流匹配的生成式细化模块相结合，后者可迭代地改进预测。这种残差形式将生成建模问题从学习全局输出分布转变为围绕强先验建模局部残差分布，从而大幅简化优化。我们在感知和规划任务上评估了 DRIFT，包括视觉定位和机器人控制。在涵盖 MLLM、VLA 和 WAM 的多种任务与架构上，DRIFT 始终优于一组强大的基于回归和基于生成的解决方案。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2606.05758 [cs.CV] |
| （或使用 arXiv:2606.05758v2 [cs.CV] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2606.05758 由 DataCite 颁发 arXiv DOI |
提交历史
来自：Zhuoming Liu [查看邮箱]
[v1]
2026年6月4日 星期四 06:37:10 UTC（3,544 KB）
[v2]
2026年10月27日 星期二 15:50:15 UTC（3,547 KB）
来源：arXiv cs.AI · arxiv.org