arXiv cs.AI· Mingning Guo, Mengwei Wu, Shaoxian Li, Haifeng Li, Chao Tao·· 1 天前AI 评分22
AerialVP：用更强任务提示词引导视觉语言模型提升无人机图像感知
Towards Accurate UAV Image Perception: Guiding Vision-Language Models with Stronger Task Prompts
AI 导读
AerialVP 是一个任务自适应、免训练的智能体，通过提示词增强而非参数优化让视觉语言模型适配无人机图像感知任务。它由基于 LLM 的 Task Engine 协调提示词分析、视觉信息提取与提示词融合，按原始提示词的具体程度选择性注入图像语义、空间位置和物体关系线索，后端 VLM 保持不变。
正文 · AI 翻译
摘要：基于 VLM 的无人机图像感知旨在根据语义和空间任务提示识别并定位目标。然而，小而密集分布的目标和杂乱的背景会阻碍这些任务，尤其是当简洁的提示无法提供足够指导时。尽管任务特定的微调能改善图文对齐，但它需要大规模标注和针对特定模型的更新，从而增加了跨模型和任务的适配成本。为解决这一问题，我们提出 AerialVP，一种任务自适应、免训练的智能体，它通过提示增强而非参数优化来适配 VLM。AerialVP 根据原始提示的具体程度动态调整其增强策略，选择性地融入图像衍生的语义、空间位置和目标关系。这些线索提供具有区分性的描述和空间约束，利用 VLM 预训练的对齐和推理能力来改善图文对齐并减少目标歧义。具体而言，基于 LLM 的任务引擎协调模块化工具，用于提示分析、视觉信息提取和提示融合。随后，增强后的提示和原始图像被提供给未改动的后端 VLM 进行预测。这种以提示为中心的策略实现了跨多种开源和专有 VLM 的免训练适配。为进行系统评估，我们引入 AerialSense，一个统一的基准，涵盖多种无人机场景和成像条件下的空中视觉定位、空中视觉推理和空中视觉问答。实验表明，在所有三项任务和所评估的 VLM 上均取得了一致的改进。AerialVP 在基于 LoRA 的指令微调方面也取得了有竞争力的性能，验证了以提示为中心的适配。我们的工作可在 此 https URL 获取。
| 学科： | 计算机视觉与模式识别 (cs.CV)；人工智能 (cs.AI) |
| 引用为： | arXiv:2512.07302 [cs.CV] |
| （或 arXiv:2512.07302v2 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2512.07302 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Mingning Guo [查看电子邮件]
[v1]
2025年12月8日星期一 08:44:57 UTC (35,366 KB)
[v2]
2026年11月11日星期三 10:13:40 UTC (35,124 KB)
来源：arXiv cs.AI · arxiv.org