跳到正文
arXiv cs.AI· Jia Hu, Yang Chang, Panqu Wang, Zhijun Fu, Chang Liu, Changjian Yu, Jintao Lai·· 23 小时前AI 评分34

闭环交互式世界模型让自动驾驶场景更真实:行为与视觉渲染耦合

Making the World React Realistically: A Closed-Loop Interactive World Model for Autonomous Driving

AI 导读

研究者提出一种闭环交互式世界模型,将行为建模与视觉渲染耦合,用于自动驾驶场景生成。该方法先用多智能体强化学习在闭环中微调背景车辆策略,使其与端到端自车规划器的交互行为贴近真实日志,再通过逐 Gaussian 诊断补全未观测视角与表面,并按车辆行驶意图渲染信号灯。在长尾闭环场景中,该方法将交互行为与真实世界的偏差降低 85%,新视角车辆 PSNR 较 SOTA 世界模型提升 2.0dB。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:世界模型(WM)能够生成超出记录日志的驾驶场景,从而支持在未见过的交互中训练和评估自动驾驶系统。然而,现有世界模型难以同时保证行为真实性和视觉保真度,因为它们忽视了车辆交互与自车视觉观测之间的关系。我们提出了一种闭环交互式世界模型,将行为建模与视觉渲染耦合起来。首先,通过模仿学习得到背景车辆(BV)策略,并在闭环中针对一个对渲染图像做出反应的端到端自车规划器,使用多智能体强化学习对其进行微调,使其交互行为与真实日志中的行为相匹配。其次,这些交互所暴露的视角引导对每个 3D 高斯车辆资产进行逐高斯诊断,该诊断会衰减观测不足高斯上依赖视角的颜色,并用生成的高斯填充从未观测到的表面,同时保留已观测到的外观。第三,信号灯根据车辆的驾驶意图进行渲染,由一个编辑器通过使用灯光状态分类器进行反事实微调,学习车辆未观测到的灯光状态。在长尾闭环场景中,与最先进的世界模型相比,我们的方法将偏离真实世界交互行为的程度降低了 85%,并将新视角车辆 PSNR 提高了 2.0dB。研究显示了背景车辆灯光信号在世界模型中的重要性,因为渲染出的信号灯传达了背景车辆的驾驶意图,在四分之一的场景中间接影响了自车驾驶行为。
评论: 11 页,5 张图
主题: 机器人学(cs.RO);人工智能(cs.AI)
引用为: arXiv:2611.22691 [cs.RO]
  (或 arXiv:2611.22691v1 [cs.RO] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.22691

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Yang Chang [查看邮箱]
[v1] 2026年11月17日星期二 12:39:42 UTC(7,716 KB)

来源:arXiv cs.AI · arxiv.org