arXiv cs.AI· Jisheng Dang, Huaiyuan Peng, Yixuan Wang, Kun Wang, Zhang Li, Tat-Seng Chua·· 14 小时前AI 评分31
Aerial-R1:强化 MLLM 的空中推理与分割能力
Aerial-R1: Reinforcing Aerial Reasoning and Segmentation in MLLMs
AI 导读
Aerial-R1 是首个面向空中场景强化视觉推理与分割能力的 MLLM 框架,借鉴 DeepSeek-R1 的推理激励机制,提出 H-GAWR 策略,通过构建高/低分辨率视图动态分组,将组相对优势估计与优势加权策略提取结合,并形成显式拒绝机制。在首个空中 MLLM 基准 VSAI-Ref 上,Aerial-R1 的分割精度显著优于 SFT 基线,同时大幅减少低信息场景下的致命幻觉。代码已公开。
正文 · AI 翻译
摘要:尽管多模态大语言模型(MLLMs)已经彻底改变了通用视觉感知,但现有方法在航空领域仍存在严重的幻觉问题,该领域充斥着极端的尺度变化和视觉歧义。现有的监督微调(SFT)范式迫使模型模仿真实标注而不对不确定性建模,往往导致在航空场景中对微小或无法识别的目标进行盲目猜测。本文提出 Aerial-R1,这是首个用于强化航空推理与分割视觉推理能力的航空 MLLM 框架。受 DeepSeek-R1 推理激励机制的启发,我们发现可信的感知源于跨视图的一致性,从而在视觉上建立了与逻辑中思维链相对应的平行机制。为了有效地将策略优化适配到非自回归掩码生成,我们引入了混合视图组优势加权回归(H-GAWR)。该策略构建高分辨率和低分辨率视图的动态组,将组相对优势估计与优势加权策略提取无缝衔接。通过对清晰输入强制一致性、对模糊输入严格惩罚幻觉,Aerial-R1 发展出一种显式激励的拒绝机制。在 VSAI-Ref(首个专门用于联合评估密集推理和幻觉鲁棒性的航空 MLLM 基准)上的大量实验表明,Aerial-R1 在分割精度上显著优于 SFT 基线,同时在低信息场景中大幅减轻了致命幻觉,为更可靠、更可信的航空智能体铺平了道路。代码可在 此 https URL 获取。
| 评论: | 16 页,8 幅图,包括补充材料 |
| 主题: | 计算机视觉与模式识别(cs.CV);人工智能(cs.AI) |
| 引用为: | arXiv:2610.33056 [cs.CV] |
| (或 arXiv:2610.33056v1 [cs.CV] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.33056 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Huaiyuan Peng [查看电子邮件]
[v1]
2026 年 10 月 19 日星期一 08:44:04 UTC(3,395 KB)
来源:arXiv cs.AI · arxiv.org