arXiv cs.AI· Jaewoo Park, Minyoung Lee, Sukmin Seo, Moonbin Yim, Hyunwook Yoon, Dohoon Ryu, Daehee Kim, Myungseo Song, Jihyuk Byun, Seunggyu Chang, Taeho Kil, Jiseob Kim, Bado Lee, Geewook Kim·· 2 天前AI 评分38
DroneCATS 基准：多模态 LLM 作为通用视觉-语言-动作智能体控制无人机
Evaluating Multimodal LLMs as Generalist Vision-Language-Action Agents for Drone Control: Commanding, Approaching, Tracking and Searching
AI 导读
研究者提出 DroneCATS 基准，让 MLLM 通过四类动作直接控制无人机，覆盖目标可见性、目标运动、场景与模拟器变化，并扩展至真实无人机、多无人机及"指挥官+子智能体"套件，评测了十款从前沿到小型开源的 MLLM。
正文 · AI 翻译
作者：Jaewoo Park、Minyoung Lee、Sukmin Seo、Moonbin Yim、Hyunwook Yoon、Dohoon Ryu、Daehee Kim、Myungseo Song、Jihyuk Byun、Seunggyu Chang、Taeho Kil、Jiseob Kim、Bado Lee、Geewook Kim
摘要：多模态大语言模型（MLLM）越来越多地被用于为无人机做决策，但现有评估大多局限于仿真、单架无人机，以及从一开始就可见且不移动的目标。我们提出 DroneCATS，这是一个基准测试，其中仅由 MLLM 通过四种动作控制无人机，并评估了从前沿模型到小型开源模型的十种 MLLM。该基准测试改变了目标可见性、目标运动、场景和模拟器，并扩展到真实无人机。除单架无人机外，它还增加了多无人机套件，即一个模型驱动多架无人机，以及指挥官 + 子智能体套件，即一个指挥官模型为每架无人机指挥一个子智能体。在这些设置中，我们发现前沿模型取得了最高的成功率，但其延迟导致它们丢失移动目标，而小型开源模型即使到达目标，也往往不声明到达。在此失败分析的指导下，我们基于从公开 RGB-D 图像合成的无人机动作数据微调了一个 2B 模型；其在仿真中的成功率从 0% 上升到 31%，并在真实飞行中优于前沿模型。在多无人机情况下，我们发现每个零样本模型作为指挥官、为每架无人机指挥一个子智能体时，比在一个上下文中驱动所有无人机时成功率更高，并且指挥成功率与通用 VLM 能力相关。在真实无人机上，我们观察到结果大体上与仿真中一致，但延迟和硬件限制影响更大。我们将完全开源该基准测试。
| Comments: | 预印本。项目页面：this https URL |
| Subjects: | 机器人学（cs.RO）；人工智能（cs.AI） |
| 引用为： | arXiv:2609.01404 [cs.RO] |
| （或 arXiv:2609.01404v2 [cs.RO] 对应此版本） | |
| https://doi.org/10.48550/arXiv.2609.01404 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Geewook Kim [查看邮箱]
[v1]
2026年9月1日星期二 15:27:43 UTC（25,907 KB）
[v2]
2026年10月15日星期四 10:07:37 UTC（8,503 KB）
来源：arXiv cs.AI · arxiv.org