跳到正文
arXiv cs.AI· Elias Hofele, Thomas Trapp, David Timmermann, Tristan Schnell, Georg Heppner, Arne Roennau·· 14 小时前AI 评分31

TrySee:面向专业领域的模块化感知增强 VLM 闭环机器人任务规划

TrySee: Modular Perception-Enhanced VLM Grounding for Closed-Loop Robot Task Planning in Specialized Domains

AI 导读

TrySee 是一套模块化闭环机器人任务规划流水线,将通用 VLM 推理与领域专用感知及成熟机器人组件结合,无需 VLM 微调或端到端演示。系统采用反应式循环规划流程,配合领域专用模块化视觉预处理实现在线 grounding,并通过动态预处理选择机制提升可扩展性。该方法在 5 个差异显著的领域完成规划任务评估,并在棕地环境的真实机器人拆解任务中验证了实用性。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:视觉语言模型(VLM)在机器人的高层推理和任务规划方面已展现出令人印象深刻的能力。然而,专业领域对 VLM 的图像解读与定位能力仍是一项挑战。我们提出 TrySee,一种模块化闭环机器人任务规划流水线,将通用 VLM 推理与领域特定感知及成熟的机器人组件相结合。该系统由本质上具有反应性的循环规划流水线构成,并辅以领域特定的模块化视觉预处理,以提供在线定位。最后,一种动态预处理选择机制有助于提升流水线的可扩展性。该系统既不需要对 VLM 进行微调,也不需要端到端演示,而是通过可替换的感知模块和运动规划实现自适应。该方法在涵盖 5 个差异显著领域的规划任务上进行了评估,其中包括一项真实世界的机器人拆解任务。在棕地环境中的现场测试表明,该方法在将 VLM 规划集成到领域特定训练数据有限的专用机器人系统方面具有实用性。
评论: 拟发表于 2026 年 IEEE 国际机器人与仿生学会议(ROBIO)论文集
主题: 机器人学(cs.RO);人工智能(cs.AI)
引用为: arXiv:2610.35687 [cs.RO]
  (或 arXiv:2610.35687v1 [cs.RO] 用于此版本)
  https://doi.org/10.48550/arXiv.2610.35687

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Elias Hofele [查看电子邮件]
[v1] 2026 年 10 月 26 日星期一 16:20:28 UTC(12,504 KB)

来源:arXiv cs.AI · arxiv.org