arXiv cs.MA· Yanzhe Chen, Ziyi Yang, Jifeng Zhu, Qiming Huang, Ruihe An, Peiyao Xu, Hesen Yang, Runda Liu, Chang Gong, Zhijun Cao, Zechen Bai, Wenzheng Zeng, Yiqi Lin, Guoqiang Liang, Kevin Yuchen Ma, Kevin Qinghong Lin, Mike Zheng Shou·· 12 小时前AI 评分34
多模态具身智能体：从 computer-use 到 robot-use 的统一能力视角 PAPAV 框架
Multimodal Embodied Agents: A Unified Capability-centric Perspective from Computer-Use to Robot-Use
AI 导读
研究者提出 PAPAV 统一能力框架，将多模态具身智能体（MMEA）拆解为感知状态、预判动作效果、规划可行路径、通过接口或本体执行、验证结果五项功能，并据此对比 MMEA、多模态智能体（MMA）与机器人系统（RS）。在 64 个 benchmark 中，显式评估集中在 Act，仅 5 个评估 Anticipate、3 个评估 Verify，后两者大多被任务成功率掩盖。
正文 · AI 翻译
作者：Yanzhe Chen、Ziyi Yang、Jifeng Zhu、Qiming Huang、Ruihe An、Peiyao Xu、Hesen Yang、Runda Liu、Chang Gong、Zhijun Cao、Zechen Bai、Wenzheng Zeng、Yiqi Lin、Guoqiang Liang、Kevin Yuchen Ma、Kevin Qinghong Lin、Mike Zheng Shou
摘要：多模态智能体（MMAs）通过推理、记忆、工具和反馈维持交互，最典型的表现形式是计算机使用智能体；而机器人系统（RSs）则在物理动力学下将感知与执行耦合起来。我们将多模态具身智能体（MMEAs）定义为将多模态任务推理与物理动作相结合、并根据由此产生的反馈修正决策的目标导向系统。这引出一个核心问题：当多模态智能体从计算机使用转向机器人使用时，会发生什么变化？我们提出 PAPAV，这是一个以能力为中心的统一框架，包含五种反复出现的功能：感知当前状态、预判动作效果、规划可行路线、通过接口或身体执行、验证结果。这些能力按功能而非架构来定义，使 PAPAV 能够识别三者的共同之处，进而将 MMEAs 与 MMAs 和 RSs 进行比较。从部分可观测性到结果不可验证性，五项物理约束使得预先固定的选择更少、可逆转错误的空间也更小。在 64 个基准测试中，显式评估集中在“执行”上；只有 5 个评估“预判”，3 个评估“验证”，二者在很大程度上被任务成功率所掩盖。这些约束也框定了我们所识别的开放挑战。因此，PAPAV 为设计可靠的物理智能体以及衡量全部五种能力（而非仅任务成功率）的进展提供了共同基础。
| 评论： | 项目网站：this https URL |
| 主题： | 机器人学（cs.RO）；人工智能（cs.AI）；计算机视觉与模式识别（cs.CV）；多智能体系统（cs.MA）；多媒体（cs.MM） |
| 引用为： | arXiv:2610.30108 [cs.RO] |
| （或本版本的 arXiv:2610.30108v1 [cs.RO]） | |
| https://doi.org/10.48550/arXiv.2610.30108 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ziyi Yang [查看邮箱]
[v1]
2026年10月21日星期三 17:52:48 UTC（3,077 KB）
来源：arXiv cs.MA · arxiv.org