arXiv cs.AI· Tsunehiko Tanaka, Matthew Stephenson, Alistair Macvicar, Edgar Simo-Serra·· 13 小时前AI 评分32
基于视觉语言模型的证据门控任务与运动规划（EAFG）
Evidence-Gated Task and Motion Planning with Vision-Language Models
AI 导读
研究提出证据获取与可行性门控（EAFG）框架，让 VLM 生成子目标、机器人执行 TAMP 规划的动作序列以获取视觉证据，再据此决定继续任务规划、补充证据还是中止。在三个烹饪场景测试中，EAFG 在明确指定与欠指定指令场景下任务完成率优于 VLM-TAMP 基线，并在所需物体缺失时能正确中止。
正文 · AI 翻译
摘要：机器人根据自然语言指令执行长时程操作任务时，必须同时推理语义任务结构和几何可行性。将视觉语言模型（VLM）与任务与运动规划（TAMP）相结合的分层方法提供了一种有前景的解决方案，但 VLM 生成的子目标可能依赖先验知识而缺乏充分的观测支持。这可能导致遗漏与任务相关的子目标，或尝试执行在环境中无法满足其要求的指令。我们提出证据获取与可行性门控（EAFG），这是一个用于证据门控任务与运动规划的框架，通过获取视觉证据来指定合适的任务规划，并评估给定指令是否能够完成。EAFG 首先通过让 VLM 生成子目标、由机器人执行 TAMP 为这些子目标规划的动作序列来获取证据。在可行性门控中，利用所获取的证据决定是继续任务规划、获取更多证据还是停止。继续时，VLM 以所获取的证据为条件生成任务子目标，TAMP 计算底层动作。我们在三个烹饪场景中评估 EAFG，分别涉及明确指定所需物体、指令不充分以及指令要求一个不存在的物体。在明确指定和指令不充分的场景中，EAFG 相比 VLM-TAMP 基线提高了任务完成率，并在所需物体不存在时能够适当地停止。
| 学科： | 机器人学（cs.RO）；人工智能（cs.AI） |
| 引用为： | arXiv:2608.20084 [cs.RO] |
| （或使用 arXiv:2608.20084v2 [cs.RO] 查看此版本） | |
| https://doi.org/10.48550/arXiv.2608.20084 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Tsunehiko Tanaka [查看邮箱]
[v1]
2026年8月20日星期四 14:17:52 UTC（620 KB）
[v2]
2026年10月29日星期四 15:37:45 UTC（1,034 KB）
来源：arXiv cs.AI · arxiv.org