arXiv cs.AI· Guoqing Wang, Pin Tang, Xiangxuan Ren, Chao Ma·· 23 小时前AI 评分34
AgentWorld:面向自动驾驶的智能体中心 VLA 世界模型
Learning Agent-Centric Vision-Language-Action World Models for Autonomous Driving
AI 导读
研究者提出 AgentWorld,一种以智能体为中心的 VLA 世界模型,用离散 agent token 同时进行推理与轨迹规划,每个 token 动态绑定到周围智能体的语义身份、3D 几何、运动与交互上下文。
正文 · AI 翻译
摘要:将视觉-语言-动作(VLA)模型与世界建模相结合的最新进展,显著推动了端到端自动驾驶的发展,使系统能够对想象出的未来进行推理,而不仅仅是对当前观测做出反应。然而,大多数世界 VLA 模型在像素层面生成未来帧,并伴随大量稠密视觉 token。尽管这样生成的未来在视觉上看似合理,但它们保留了许多与驾驶无关的外观细节,即只有一小部分 token 直接编码了与规划相关的关键因素,例如智能体几何、运动动力学和交互。这带来了显著的性能瓶颈。由此产生一个重要问题:世界 VLA 模型应当对何种世界状态进行推理,以支持超越像素级预测的规划?我们认为,面向规划的世界建模应聚焦于一种紧凑且结构化的、以智能体为中心的潜在状态,该状态能够捕捉驾驶场景中物体之间随时间变化的交互。为此,我们提出 AgentWorld,一种以智能体为中心的 VLA 世界模型,它使用离散智能体 token 共同进行推理和轨迹规划。每个 token 都被动态地锚定到周围的一个智能体,并关联该对象的状态,例如语义身份、3D 几何、运动和交互上下文。AgentWorld 通过三个关键过程学习这些 token:显式几何锚定、面向推理的监督微调,以及面向智能体的强化学习。在多样驾驶场景下进行的大量开环和闭环实验表明,AgentWorld 增强了规划能力,充分利用了视觉证据和智能体动力学,并产生了可解释的以智能体为中心的世界状态。
| 评论: | 被 NeurIPS 2026 接收 |
| 主题: | 计算机视觉与模式识别(cs.CV);人工智能(cs.AI) |
| 引用为: | arXiv:2611.22880 [cs.CV] |
| (或本版本的 arXiv:2611.22880v1 [cs.CV]) | |
| https://doi.org/10.48550/arXiv.2611.22880 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Guoqing Wang [查看电子邮件]
[v1]
2026年11月17日星期二 14:53:49 UTC(5,456 KB)
来源:arXiv cs.AI · arxiv.org