跳到正文
arXiv cs.AI· Guoqing Wang, Pin Tang, Xiangxuan Ren, Chao Ma·· 23 小时前AI 评分34

AgentWorld:面向自动驾驶的智能体中心 VLA 世界模型

Learning Agent-Centric Vision-Language-Action World Models for Autonomous Driving

AI 导读

研究者提出 AgentWorld,一种以智能体为中心的 VLA 世界模型,用离散 agent token 同时进行推理与轨迹规划,每个 token 动态绑定到周围智能体的语义身份、3D 几何、运动与交互上下文。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:将视觉-语言-动作(VLA)模型与世界建模相结合的最新进展,显著推动了端到端自动驾驶的发展,使系统能够对想象出的未来进行推理,而不仅仅是对当前观测做出反应。然而,大多数世界 VLA 模型在像素层面生成未来帧,并伴随大量稠密视觉 token。尽管这样生成的未来在视觉上看似合理,但它们保留了许多与驾驶无关的外观细节,即只有一小部分 token 直接编码了与规划相关的关键因素,例如智能体几何、运动动力学和交互。这带来了显著的性能瓶颈。由此产生一个重要问题:世界 VLA 模型应当对何种世界状态进行推理,以支持超越像素级预测的规划?我们认为,面向规划的世界建模应聚焦于一种紧凑且结构化的、以智能体为中心的潜在状态,该状态能够捕捉驾驶场景中物体之间随时间变化的交互。为此,我们提出 AgentWorld,一种以智能体为中心的 VLA 世界模型,它使用离散智能体 token 共同进行推理和轨迹规划。每个 token 都被动态地锚定到周围的一个智能体,并关联该对象的状态,例如语义身份、3D 几何、运动和交互上下文。AgentWorld 通过三个关键过程学习这些 token:显式几何锚定、面向推理的监督微调,以及面向智能体的强化学习。在多样驾驶场景下进行的大量开环和闭环实验表明,AgentWorld 增强了规划能力,充分利用了视觉证据和智能体动力学,并产生了可解释的以智能体为中心的世界状态。
评论: 被 NeurIPS 2026 接收
主题: 计算机视觉与模式识别(cs.CV);人工智能(cs.AI)
引用为: arXiv:2611.22880 [cs.CV]
  (或本版本的 arXiv:2611.22880v1 [cs.CV])
  https://doi.org/10.48550/arXiv.2611.22880

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Guoqing Wang [查看电子邮件]
[v1] 2026年11月17日星期二 14:53:49 UTC(5,456 KB)

来源:arXiv cs.AI · arxiv.org