arXiv cs.AI· Loan Bernat (LAAS-GEPETTO), Matthieu Grard (LAAS-RAP), Ariane Herbulot (LAAS-RAP), Florent Lamiraux (LAAS-GEPETTO)·· 6 天前AI 评分38
MAGMA-Bench：评估动态任务与执行失败下的长时程具身智能体
MAGMA-Bench: Evaluating Long-Horizon Embodied Agents under Dynamic Tasks and Execution Failures
AI 导读
研究者推出 MAGMA-Bench，一个架构无关的基准，用于评估动态多机器人环境中的持续任务推理，覆盖递增任务时程与执行失败、任务中断、任务更新等在线扰动。评测显示最强模型在相当比例的干净回合中仍失败，在线扰动下成功率进一步下降；监督适配能大幅提升小模型，但在更长时程和多机器人任务上表现仍明显偏低。团队同时发布基准、261,646 条任务级训练样本及架构无关的专家轨迹生成流程。
正文 · AI 翻译
摘要：长时程具身智能体必须保持任务相关信息、协调异构机器人，并在执行过程中不断调整决策。现有基准研究动态任务执行与具身多智能体协调，但对其交叉领域的评估有限。我们提出 MAGMA-Bench，一个面向动态多机器人环境中持续任务推理的架构无关基准。MAGMA-Bench 在递增的任务时程和受控的在线扰动（包括执行失败、任务中断和任务更新）下评估智能体，其场景要求具备异构能力的机器人之间进行协调。它使用结构化的技能级接口，将任务级推理与感知和底层控制分离。我们评估了可本地部署的开源权重规划器、多智能体状态跟踪策略以及前沿模型。即使是最强的被评估模型，也在相当一部分无扰动回合中失败，且其成功率在在线扰动下进一步下降。监督式适配能大幅提升一个小模型，但在更长时程和多机器人任务上性能仍显著较低。我们发布了该基准、261,646 个任务级训练示例，以及一个架构无关的专家轨迹生成流水线。
| 主题： | 人工智能（cs.AI）；机器人学（cs.RO） |
| 引用为： | arXiv:2610.13534 [cs.AI] |
| （或 arXiv:2610.13534v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13534 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Loan BERNAT [查看电子邮件] [通过 CCSD 代理]
[v1]
2026年10月9日星期五 12:54:11 UTC（3,244 KB）
来源：arXiv cs.AI · arxiv.org