arXiv cs.AI· Shuzheng Wang, Haoxuan Li, Shengzhen Li, Chenxi Wu, Yajing Sun, Lu Hou, Wenyu Liu, Xinggang Wang·· 3 天前AI 评分24
DriveWLA：用世界-语言-动作模型统一自动驾驶的未来动态与场景语义
DriveWLA: Unifying Future Dynamics and Scene Semantics through World-Language-Action Modeling for Autonomous Driving
AI 导读
DriveWLA 是一个基于 Mixture-of-Transformers（MoT）的世界-语言-动作模型，通过 World、Language、Action 三个专家分别负责未来预测、语义理解与轨迹生成，并引入 Cross-Expert Attention 对齐语义与动态表示。
正文 · AI 翻译
摘要：视觉语言模型（VLM）和世界模型已在自动驾驶的语义理解和未来场景演化方面展现出强大能力。然而，有效整合这两种能力以进行轨迹生成仍具挑战性。在本工作中，我们提出 DriveWLA，一种基于 Transformer 混合（MoT）的统一世界-语言-动作模型，可联合建模语义理解、未来场景动态和轨迹生成。DriveWLA 由三个专家组成：用于未来预测的世界专家、用于语义理解的语言专家，以及用于轨迹生成的动作专家。我们进一步引入跨专家注意力，使信息能够在专家之间受控流动，同时对齐语义表示和动态表示。为了超越模仿学习来改进轨迹生成，我们应用 Flow-GRPO 强化学习后训练来优化动作专家。大量实验表明，DriveWLA 在开环和闭环评估中均取得优异性能。DriveWLA 在 NAVSIM v1 上达到 92.3 PDMS，在 NAVSIM v2 上达到 90.1 EPDMS，在基于 VLM 和基于世界模型的规划器中展现出强劲性能。无需特定微调，DriveWLA 还展现出对 HUGSIM、nuScenes 和 Bench2Drive 的强大零样本泛化能力。这些结果验证了我们统一世界-语言-动作建模的有效性，确立了 DriveWLA 作为可泛化自动驾驶框架的地位。
| 评论： | 17 页，4 幅图 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；机器人学（cs.RO） |
| 引用为： | arXiv:2610.17903 [cs.CV] |
| （或 arXiv:2610.17903v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.17903 arXiv 颁发的 DOI，通过 DataCite（待注册） |
提交历史
来自：Shuzheng Wang [查看电子邮件]
[v1]
2026 年 10 月 13 日星期二 07:56:37 UTC（2,848 KB）
来源：arXiv cs.AI · arxiv.org