arXiv cs.AI· Shengtao Wu, Zichao Dong, Weixuan Qiao, Xiaolu Liu, Xin Zhan, Junbo Chen, Jianke Zhu·· 1 天前AI 评分34
从基础 VLM 到通用驾驶 VLM：一种三元组增量训练方法
From Foundation VLM to Versatile Driving VLM: A Triplet Incremental Training Approach
AI 导读
研究提出 Triplet Incremental Training 框架，无需改造架构即可将通用 VLM 适配自动驾驶，通过（图像、深度、QA 对）三元组进行三流训练，部署时丢弃辅助深度分支，实现零推理开销。该方法在 3D 空间感知、驾驶语言推理、端到端规划和通用多模态理解四个基准上超越现有驾驶 VLM，3D 感知媲美领域专家模型，并保留原有通用推理能力。论文已被 CoRL 2026 接收。
正文 · AI 翻译
摘要：将通用视觉语言模型（VLM）适配到自动驾驶（AD）领域，通常被认为需要大量 3D 空间先验或侵入式架构改造，以弥补空间定位能力的不足。在本工作中，我们呈现了一项反直觉的初步研究：现成的通用 VLM 在多种驾驶任务中已展现出显著的自适应能力，而精确的度量深度仍是主要缺失环节，这一瓶颈可通过车载传感器和深度基础模型轻松解决。为此，我们提出了三元组增量训练框架，这是一种非侵入式范式，可将 3D 几何感知无缝注入通用 VLM 主干，同时完整保留其开放世界能力。在自动构建的（图像、深度、问答对）三元组驱动下，我们的框架通过统一的流式训练流程运行：一个未冻结的主 VLM 流用于适配驾驶任务，一个辅助深度流通过显式几何约束引导视觉主干隐式想象 3D 场景几何，以及一个冻结的孪生 VLM 流采用 logit 级 KL 蒸馏以防止语义漂移。关键在于，辅助深度分支在部署时被丢弃，确保增强的几何感知不带来任何推理开销。我们在四个主要基准上评估了该框架，涵盖 3D 空间感知、面向驾驶的语言推理、端到端规划和通用多模态理解四项多样化能力。我们的方法优于最先进的驾驶 VLM，在 3D 感知方面可与领域专用专家模型媲美，并成功保留了其原有的通用推理能力。这表明，三元组增量训练提供了一种统一、可直接部署的范式，可将通用基础模型转化为稳健的驾驶智能。
| 评论： | 13 页，3 幅图，7 张表。已被第 10 届机器人学习会议（CoRL 2026）接收 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.16727 [cs.CV] |
| （或 arXiv:2611.16727v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.16727 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Shengtao Wu [查看邮箱]
[v1]
2026 年 11 月 12 日星期四 12:39:25 UTC（21,173 KB）
来源：arXiv cs.AI · arxiv.org