AUGUstus：统一生成与理解的自动驾驶 VLA 模型

作者：Yuqi Ye、Caigao Jiang、Zhuonan Wang、Congyuan Pei、Chao Qu、Changhao Peng、Junhong Lin、Qize Yu、Zetian Song、Guangzhao Fu、Chongruo Wu、Shiyu Huang、Shuchang Zhou、Honggou Yang、Wei Gao

查看 PDF HTML（实验性）

摘要：视觉-语言-动作（VLA）模型通过利用世界知识与理解能力在长尾场景中表现出色，展现出端到端自动驾驶的强大潜力。然而，当前的 VLA 存在两个局限：1）退化为视觉-动作（VA）模型。为降低延迟，基于回归/流的方法直接生成动作，但未充分利用 VLM 的理解能力，导致动作不安全且不可解释。2）自回归高延迟。自回归方法依次生成思维链（CoT）和动作 token，充分利用了 VLM 的理解能力，但高延迟阻碍了部署。为了在低延迟部署的同时利用 CoT 辅助动作生成，我们提出 AUGUstus，一种具有统一生成与理解的自动驾驶 VLA 模型。我们在一个模型中统一了基于扩散的动作生成与自回归 CoT 理解，其中理解仅服务于生成。联合 CoT 监督在共享表示中保留了 VLM 的空间理解，从而获得更安全、更准确的轨迹。AUGUstus 模式将动作生成排在 CoT 之前，因此 CoT 在训练期间监督可靠的动作，而推理时仅需动作输出，从而实现低延迟。AUGUstus-GRPO 是一种统一的 GRPO 算法，联合优化动作与 CoT，提升动作性能。实验表明，AUGUstus 在 NAVSIMv1 上达到 94.6 PDMS，在 NAVSIMv2 上达到 90.7 EPDMS，是无需评分器模块的 SOTA 规划。在 nuScenes 上，其平均 L2 误差为 0.27 m，平均碰撞率为 0.05%，在所比较的方法中最佳。为验证 AUGUstus 的实用性，我们使用 512 块 NVIDIA H800 GPU 在内部数据上训练约 2 天，在内部 1,000 km 数据集上评估，并初步部署到真实车辆上，实现了 12 Hz 的运行。项目页面：此 https URL

主题：	计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）
引用为：	arXiv:2610.16985 [cs.CV]
	（或 arXiv:2610.16985v1 [cs.CV] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.16985 由 DataCite 颁发的 arXiv DOI（待注册）

提交历史

来自：Yuqi Ye [查看电子邮件]
[v1] 2026年10月12日星期一 15:42:09 UTC（15,075 KB）