arXiv cs.AI· Yuheng Zong, Minghua Wang, Xin Zhao, Zhi-Hui Zhan, Antonio Plaza, Jon Atli Benediktsson·· 2 天前AI 评分22
面向场景专用遥感 MLLM 的能力缺口驱动后训练 FBA：先补齐再进阶
Filling Before Advancing: Capability-Gap-Driven Post-Training for Scenario-Specialized Remote Sensing MLLMs
AI 导读
研究者提出"先补齐再进阶"（FBA）的能力缺口驱动后训练路线，先发展前置能力再做场景适配，并构建覆盖 RGB、SAR、PAN、NIR 的三层数据集 CPRS 与八轨基准 HarborEval。
正文 · AI 翻译
摘要：遥感多模态大语言模型（RS-MLLM）推动了航拍图像理解的发展，但场景专业化仍受限于高质量监督数据的稀缺和能力覆盖的不完整。我们提出“先补齐后进阶”（FBA），一种由能力差距驱动的后训练路线，在面向特定场景适配之前先发展前置能力。针对沿海港口理解，我们构建了 CPRS（Coastal-Port Remote Sensing），一个涵盖 RGB、SAR、PAN 和 NIR 影像的三层数据集。FBA 将监督组织为遥感语义锚定、多源桥接和基于证据的场景调优。我们还提出了 HarborEval，一个评估感知、空间理解、鲁棒性和生成的八轨基准。在相同的最终任务监督池下，与 Direct-SFT 相比，FBA 将 LLaVA-v1.5 上的 HarborEval 分数从 57.95 提升至 70.29，将 Qwen3-VL 上的分数从 81.09 提升至 83.37。它还优于坍缩训练，并在港口相关的 VRSBench 和 RSVQA 子集以及专家评分的 OpenEval 上领先于所评估的对比方法。分阶段和监督替换分析考察了各监督角色的贡献。一个轻量级城市场景实例进一步支持了跨场景适用性，所提出的阶段顺序取得了比所测试的替代方案更强的整体性能。项目资源和发布更新见 此 https URL。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI） |
| 引用为： | arXiv:2607.22205 [cs.CV] |
| （或 arXiv:2607.22205v3 [cs.CV] 对应此版本） | |
| https://doi.org/10.48550/arXiv.2607.22205 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yuheng Zong [查看邮箱]
[v1]
2026年7月24日星期五 11:21:25 UTC（8,237 KB）
[v2]
2026年7月28日星期二 11:05:01 UTC（8,237 KB）
[v3]
2026年10月15日星期四 10:06:16 UTC（8,773 KB）
来源：arXiv cs.AI · arxiv.org