arXiv cs.AI· Nikos Theodoridis, Reenu Mohandas, Sushil Sharma, Ciar\'an Hogan, Ganesh Sistu, Anthony Scanlan, Tim Brophy, Ciar\'an Eising·· 10 小时前AI 评分58
ReactBench-AD:驾驶 VLA 与世界动作模型能否对路径突发障碍作出反应
ReactBench-AD: Do Driving VLAs and World-Action Models React to Imminent Hazards in Their Path?
AI 导读
ReactBench-AD 是一个基于 NAVSIM 和 PhysicalAI-Autonomous-Vehicles 真实场景构建的基准,通过在全部相机视角和历史帧中一致地合成横穿行人、站立行人和静止车辆,形成像素级反事实对照,以隔离插入物体对预测轨迹的因果影响。
正文 · AI 翻译
摘要:视觉-语言-动作模型(VLAs)与世界-动作模型(WAMs)已在自动驾驶领域出现,并有望对长尾场景实现强泛化。尽管这些模型在自动驾驶基准上取得了最先进的结果,但现有基准大多以常规场景为主,因此无法检验这一承诺。为了检验一项对安全至关重要的长尾能力,我们引入了 ReactBench-AD,这是一个衡量驾驶模型如何对出现在自车路径中的物体做出反应的基准。ReactBench-AD 基于真实的 NAVSIM 和 PhysicalAI-Autonomous-Vehicles 场景构建,在所有相机视角和历史帧中一致地合成一名横穿行人、一名站立行人或一辆静止汽车。因此,每个编辑后的场景都与其原始场景形成精确的像素级反事实配对,这使我们能够分离出插入物体对预测轨迹的因果效应。在评估四个 VLA 和两个 WAM 后,我们发现它们的反应很弱,往往几乎没有反应。最后,我们测试了所评估的 VLA 之一 ReCogDrive 能被多容易地教会为迫近危险急刹车:在编辑场景上进行短暂的微调阶段即可显著改善其反应,且所学行为可泛化到未见过的物体和完全真实的场景,而对常规驾驶的代价极小。这些结果对这些模型开箱即用的长尾能力提出了质疑,但表明它们可以成为以少量额外训练获得这些能力的坚实基础,凸显了展示常规数据集很少包含的长尾行为的真实或合成数据的价值。
| 主题: | 计算机视觉与模式识别(cs.CV);人工智能(cs.AI);机器人学(cs.RO) |
| 引用为: | arXiv:2611.20011 [cs.CV] |
| (或此版本的 arXiv:2611.20011v2 [cs.CV]) | |
| https://doi.org/10.48550/arXiv.2611.20011 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Nikos Theodoridis [查看电子邮件]
[v1]
2026年11月15日星期日 13:42:52 UTC(15,793 KB)
[v2]
2026年11月17日星期二 19:28:26 UTC(15,796 KB)
来源:arXiv cs.AI · arxiv.org