arXiv cs.AI· Lonnie Tankersley, Noorbakhsh Amiri Golilarz, Soroush Korivand·· 3 天前AI 评分23
基于硬件感知 LLM-VLM 集成的具身零样本任务规划，实现有物理依据的机器人操作
Embodied Zero-Shot Task Planning via Hardware-Aware LLM-VLM Integration for Grounded Robotic Manipulation
AI 导读
该研究提出一种硬件感知的 LLM-VLM 操作框架，在 NVIDIA Isaac Sim 中驱动模拟 Franka Research 3 机器人完成零样本任务规划。
正文 · AI 翻译
摘要：大语言模型可以将自然语言指令转化为看似合理的操作计划，但机器人执行需要符合物理实际的决策，需考虑机器人本体、工作空间几何、可达性、碰撞约束和抓取可行性。本文提出了一个面向 NVIDIA Isaac Sim 中仿真 Franka Research 3 机器人的硬件感知大语言模型-视觉语言模型（LLM-VLM）操作框架。该框架将符号推理与度量执行分离：一个 API 托管的 LLM 规划器接收结构化场景摘要，仅生成符号任务信息，包括要操作的对象、目标关系、接近偏好以及要避开的对象。一个本地 Qwen3-VL 8B VLM 验证器支持对模糊对象和开放容器替代物的语义确认。LLM 规划器和 VLM 验证器均被禁止生成机器人坐标、抓取位姿、禁入区尺寸、夹爪命令、轨迹路点或成功标签。相反，这些决策由确定性接地与执行模块处理，这些模块使用机器人模型、场景几何、MoveIt 2 碰撞检测、逆运动学、抓取验证、释放验证和最终视觉评估。执行反馈仅作为符号上下文返回以用于重新规划。该框架通过涉及拾取、遮挡源访问、禁入区推理、关系放置和顺序操作任务的仿真数字孪生试验进行评估。
| 评论： | 6 页，5 幅图，1 张表。已被第 25 届 IEEE 机器学习与应用国际会议（ICMLA 2026）接收并展示，2026 年 10 月 5-7 日 |
| 主题： | 机器人学（cs.RO）；人工智能（cs.AI） |
| ACM 分类： | I.2.9；I.2.10；I.2.7 |
| 引用为： | arXiv:2610.14106 [cs.RO] |
| （或 arXiv:2610.14106v1 [cs.RO] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.14106 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Soroush Korivand 博士 [查看电子邮件]
[v1]
2026 年 10 月 8 日星期四 22:59:11 UTC（15,156 KB）
来源：arXiv cs.AI · arxiv.org