arXiv cs.AI· Youpeng Wen, Gang Wang, Tianyu Huang, Weiwei Zhang, Zhijian Huang, Wei Chen, Xieyuanli Chen, Yunhui Liu·· 3 天前AI 评分35
Orchestra：面向长时程机器人操作的多模态指令跟随智能体框架
Let the Mind Conceive, Let the Hand Achieve: Following Multimodal Instructions for Long-Horizon Robotic Manipulation
AI 导读
Orchestra 是一个将任务规划与执行管理从动作生成中分离的智能体框架，可把多模态指令拆解为有序子任务并跟踪执行进度。在九个 RMBench 任务上平均成功率达 68.22%，比 Mem-0 高出 26.22 个百分点；在 RMBench-Compose 上平均成功长度（ASL）为 7.35 个子任务，是 HarnessVLA 的 2.46 倍。
正文 · AI 翻译
摘要：遵循多步指令的机器人需要在正确的时机对正确的物体采取行动，即使场景发生变化也是如此。它还必须保持对任务进度的感知，并确定何时推进。为应对这些挑战，我们提出了 Orchestra，一种将任务规划与执行管理同动作生成分离的智能体框架。Orchestra 将完整的多模态指令分解为有序的子任务，跟踪已完成的步骤，并在执行过程中更新相关物体和目的地的位置。它维护一个包含当前子任务、空间定位和近期观测的共享上下文。动作策略利用该上下文生成动作，而单独训练的进度评估器则估计何时推进到下一个子任务。为评估在原子指令和短轨迹上训练的机器人能否执行更长的子任务序列，我们提出了一个名为 RMBench-Compose 的基准。Orchestra 在九个 RMBench 任务上取得了 $68.22\%$ 的平均成功率，比 Mem-0 高出 $26.22$ 个百分点。在 RMBench-Compose 上，它取得了 $7.35$ 个子任务的平均成功长度（ASL），是 HarnessVLA 的 $2.46$ 倍。在四个真实世界的多步任务中，与使用基础 $\pi_{0.5}$ 策略的 Orchestra 相比，它将平均 ASL 提高了 $25.0\%$。这些结果表明，Orchestra 能帮助机器人执行更长的子任务序列，同时保持所要求的子任务顺序并对指定物体采取行动。我们的代码和项目页面可在 此 https URL 获取。
| 主题： | 机器人学（cs.RO）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.18352 [cs.RO] |
| （或 arXiv:2610.18352v1 [cs.RO] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.18352 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Youpeng Wen [查看邮箱]
[v1]
2026年10月13日星期二 13:20:59 UTC（16,845 KB）
来源：arXiv cs.AI · arxiv.org