arXiv cs.AI· Gautam Kumar Jain, Carsten Markgraf, Julian St\"ahler·· 3 天前AI 评分18
DriveLM-nuScenes 跨阶段一致性研究：显式提示与门控上下文路由对比
Cross-Stage Coherence in Hierarchical Driving VQA: A Consistency Protocol and Parameter-Efficient Gated Context Routing
AI 导读
研究在 DriveLM-nuScenes 上对比两种跨阶段上下文传递机制：显式变体在 4B 模型 Mini-InternVL2-4B-DA-DriveLM 上免训练使用三种提示策略。
正文 · AI 翻译
摘要：面向自动驾驶的图视觉问答（GVQA）将推理组织为有序阶段，即感知、预测和规划，其中规划决策应与模型自身的感知保持一致。我们在 DriveLM-nuScenes 上对跨阶段上下文传递进行了比较研究，采用两种互补机制。显式变体在领域适配的 4B VLM（Mini-InternVL2-4B-DA-DriveLM）上评估了三种基于提示的条件策略，无需额外训练，将 NLI 矛盾最多降低 42.6%，并建立了强大的零训练基线。隐式变体引入了门控上下文投影器，从一个阶段提取隐藏状态向量，并将归一化的门控投影注入下一阶段的输入嵌入。这些投影器与阶段特定的 QLoRA 适配器在通用 8B VLM（InternVL3-8B-Instruct）上联合训练，同时仅更新约 0.5% 的参数。隐式变体在规划阶段 NLI 矛盾上实现了统计显著的 34% 降低（bootstrap 95% 置信区间，p < 0.05），并将跨阶段蕴含提高了 50%，评估使用多语言 NLI 分类器以考虑混合语言输出。规划语言质量也有所提升（CIDEr +30.3%），但由于缺乏驾驶领域预训练，词汇重叠和结构一致性有所下降。由于两种变体使用不同的基础模型，我们将它们作为互补的案例研究呈现：显式上下文传递为表面一致性提供了强大的免训练基线，而隐式门控投影则带来了显著的规划阶段语义增益，表明领域适配可能是实现全谱改进的合理下一步。
| 评论： | 17 页，8 幅图，8 张表。已被 COLM 2026 高效推理研讨会接收并展示 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2604.22560 [cs.CV] |
| （或 arXiv:2604.22560v2 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2604.22560 arXiv 颁发的 DOI 通过 DataCite |
提交历史
来自：Gautam Kumar Jain [查看电子邮件]
[v1]
2026 年 4 月 24 日星期五 13:54:48 UTC（14,243 KB）
[v2]
2026 年 10 月 13 日星期二 09:52:37 UTC（14,245 KB）
来源：arXiv cs.AI · arxiv.org