跳到正文
arXiv cs.AI· Binay Kumar Singh, Niels Da Vitoria Lobo·· 10 小时前AI 评分20

自动驾驶世界模型的动作条件语义预测是否真正依赖动作?WACV 2027 WAM-AD Workshop 论文探究

Does the Action Matter? Probing Action-Conditioned Semantic Forecasting as a World Model for Autonomous Driving

AI 导读

研究对比了带动作条件与不带动作输入的语义预测模型,用测试时动作干预衡量动作依赖。实验显示正确动作最多提升中期 mIoU 2.5 点(Cityscapes)和 0.6 点(BDD100K),错误动作则分别降低最多 23.2 和 7.0 点,低于无动作输入模型。真实数据上特征级条件比输入级条件对动作的依赖高 1.6 倍,说明精度提升只能证明模型用到了动作,不能说明依赖强度。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:世界模型在自动驾驶中越来越多地被用于预测场景在自车动作下如何演变,从而支持反事实推理和基于模型的规划。然而,现有评估主要关注预测保真度和规划性能,很少验证预测是否依赖于条件动作。本文研究动作条件语义预测中的动作依赖性,即从过去的分割结果和自车动作预测未来的语义分割。我们将带有特征级和输入级动作条件的预测器与没有动作输入的相同模型进行比较,并通过测试时动作干预、以标准分割指标评分来衡量动作依赖性。该评估在具有已知动作依赖动力学的合成环境中得到验证,并应用于 Cityscapes 和 BDD100K,既在各数据集内部进行,也在两个车辆平台之间进行。实验表明,执行的动作在 Cityscapes 上将中期 mIoU 最多提升 2.5 个点,在 BDD100K 上最多提升 0.6 个点,而错误动作会使其最多下降 23.2 和 7.0 个点,低于没有动作输入的模型。在真实数据上,特征级条件在相似精度下对动作的依赖程度是输入级条件的 1.6 倍,而在历史不决定动作的合成环境中,两者对动作的依赖程度相同。这些结果表明,精度提升说明驾驶世界模型使用了其动作,但不能说明其预测对动作的依赖有多强。代码见 此 https URL。
评论: 8 页,3 幅图,6 张表。已被 WACV 2027 的 WAM-AD Workshop 接收。代码:此 https URL
主题: 计算机视觉与模式识别(cs.CV);人工智能(cs.AI);机器学习(cs.LG);机器人学(cs.RO)
引用为: arXiv:2611.24840 [cs.CV]
  (或 arXiv:2611.24840v1 [cs.CV] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.24840

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Binay Singh [查看邮箱]
[v1] 2026 年 11 月 18 日星期三 18:06:20 UTC(116 KB)

来源:arXiv cs.AI · arxiv.org