arXiv cs.AI· Xurui Song, Shuo Huai, JingJing Jiang, Jiayi Kong, Jun Luo·· 9 天前AI 评分36
DriveMind 数据集揭示 VLM 驾驶模型推理与规划脱节
More Than Meets the Eye? Uncovering the Reasoning-Planning Disconnect in Training Vision-Language Driving Models
AI 导读
研究者构建了基于 nuPlan 的大规模驾驶 VQA 数据集 DriveMind，用其训练 VLM 驾驶智能体后发现推理与规划存在因果脱节：移除 ego/导航先验会导致规划分数大幅下降，而移除 CoT 仅带来微小变化。注意力分析显示规划主要依赖先验而非 CoT，据此提出推理-规划解耦假说，并给出一种免训练探针，通过输入扰动下的规划鲁棒性衡量智能体对先验的依赖。
正文 · AI 翻译
摘要：视觉语言模型（VLM）驱动的智能体有望通过首先生成自然语言推理、再预测轨迹规划，实现可解释的端到端自主性。然而，规划是否由这种推理因果驱动，仍是一个关键但未经证实的假设。为探究这一问题，我们构建了 DriveMind，一个大规模驾驶视觉问答语料库，带有与规划对齐的思维链（CoT），由 nuPlan 自动生成。我们的数据生成过程将传感器和标注转换为结构化输入，并且关键在于，将先验与待推理信号分离，从而实现干净的信息消融。利用 DriveMind，我们通过监督微调与组相对策略优化训练了具有代表性的 VLM 智能体，并使用 nuPlan 的指标对其进行评估。遗憾的是，我们的结果表明，推理与规划之间存在一致的因果脱节：移除自车/导航先验会导致规划分数大幅下降，而移除 CoT 仅产生微小变化。注意力分析进一步表明，规划主要关注先验而非 CoT。基于这些证据，我们提出推理-规划解耦假说，认为训练所得的推理是一种附属副产品，而非因果中介。为实现高效诊断，我们提出一种新颖的免训练探针，通过评估智能体在轻微输入扰动下的规划鲁棒性来衡量其对先验的依赖。总之，我们为社区提供了一个新数据集和一种诊断工具，用于评估未来模型的因果保真度。
| 评论： | NeurIPS 2026 |
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器人学（cs.RO） |
| 引用为： | arXiv:2510.04532 [cs.AI] |
| （或 arXiv:2510.04532v2 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2510.04532 arXiv 颁发的 DOI，经由 DataCite |
提交历史
来自：Xurui Song [查看邮箱]
[v1]
2025年10月6日星期一 06:50:16 UTC（5,362 KB）
[v2]
2026年10月8日星期四 02:08:57 UTC（5,230 KB）
来源：arXiv cs.AI · arxiv.org