跳到正文
arXiv cs.AI· Jisheng Dang, Huaiyuan Peng, Yixuan Wang, Kun Wang, Zhang Li, Tat-Seng Chua·· 14 小时前AI 评分31

Aerial-R1:强化 MLLM 的空中推理与分割能力

Aerial-R1: Reinforcing Aerial Reasoning and Segmentation in MLLMs

AI 导读

Aerial-R1 是首个面向空中场景强化视觉推理与分割能力的 MLLM 框架,借鉴 DeepSeek-R1 的推理激励机制,提出 H-GAWR 策略,通过构建高/低分辨率视图动态分组,将组相对优势估计与优势加权策略提取结合,并形成显式拒绝机制。在首个空中 MLLM 基准 VSAI-Ref 上,Aerial-R1 的分割精度显著优于 SFT 基线,同时大幅减少低信息场景下的致命幻觉。代码已公开。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:尽管多模态大语言模型(MLLMs)已经彻底改变了通用视觉感知,但现有方法在航空领域仍存在严重的幻觉问题,该领域充斥着极端的尺度变化和视觉歧义。现有的监督微调(SFT)范式迫使模型模仿真实标注而不对不确定性建模,往往导致在航空场景中对微小或无法识别的目标进行盲目猜测。本文提出 Aerial-R1,这是首个用于强化航空推理与分割视觉推理能力的航空 MLLM 框架。受 DeepSeek-R1 推理激励机制的启发,我们发现可信的感知源于跨视图的一致性,从而在视觉上建立了与逻辑中思维链相对应的平行机制。为了有效地将策略优化适配到非自回归掩码生成,我们引入了混合视图组优势加权回归(H-GAWR)。该策略构建高分辨率和低分辨率视图的动态组,将组相对优势估计与优势加权策略提取无缝衔接。通过对清晰输入强制一致性、对模糊输入严格惩罚幻觉,Aerial-R1 发展出一种显式激励的拒绝机制。在 VSAI-Ref(首个专门用于联合评估密集推理和幻觉鲁棒性的航空 MLLM 基准)上的大量实验表明,Aerial-R1 在分割精度上显著优于 SFT 基线,同时在低信息场景中大幅减轻了致命幻觉,为更可靠、更可信的航空智能体铺平了道路。代码可在 此 https URL 获取。
评论: 16 页,8 幅图,包括补充材料
主题: 计算机视觉与模式识别(cs.CV);人工智能(cs.AI)
引用为: arXiv:2610.33056 [cs.CV]
  (或 arXiv:2610.33056v1 [cs.CV] 用于此版本)
  https://doi.org/10.48550/arXiv.2610.33056

由 DataCite 颁发的 arXiv DOI

提交历史

来自:Huaiyuan Peng [查看电子邮件]
[v1] 2026 年 10 月 19 日星期一 08:44:04 UTC(3,395 KB)

来源:arXiv cs.AI · arxiv.org