arXiv cs.AI· Zhenhua Yang, Jiafeng Liang, Xingyu Zhou, Yi Jiang, Xiayu Cao, Zui Chen, Luqi Wang, Haiyang Sun, Yufei Xiang, Chang Li, Rongchuan Mu, Bowen Chi, Zihe Tong, Mingyu Li, Huijie Ma, Yiqiao Yang, Baoqi Ren, Zhiming Ma, Zhihao Zhu, Jiahao Ji, Zhuoyao Wang, Qianyu Wang, Xiangyu Liu, Wang Zixiang, Shunliang Zhang, Ming Liu, Xiaocheng Feng, Duyu Tang, Bing Qin·· 3 天前AI 评分32
ProAgent：持续观察与及时干预的主动式 Physical AI 系统
Proactive Physical AI through Continuous Observation and Timely Intervention
AI 导读
研究者提出"主动式 Physical AI"问题并开发 ProAgent 端到端系统，由判断是否需要及何时干预的 StreamingJev 主动时机模型与生成响应或调用设备能力的 Response Model 组成。团队还构建了将视频转为主动时机监督信号的自动化数据管线，实验显示其干预时机更准、误触发少于基线，真机评测验证了识别新兴需求并转化为物理动作的能力。
正文 · AI 翻译
作者：Zhenhua Yang、Jiafeng Liang、Xingyu Zhou、Yi Jiang、Xiayu Cao、Zui Chen、Luqi Wang、Haiyang Sun、Yufei Xiang、Chang Li、Rongchuan Mu、Bowen Chi、Zihe Tong、Mingyu Li、Huijie Ma、Yiqiao Yang、Baoqi Ren、Zhiming Ma、Zhihao Zhu、Jiahao Ji、Zhuoyao Wang、Qianyu Wang、Xiangyu Liu、Wang Zixiang、Shunliang Zhang、Ming Liu、Xiaocheng Feng、Duyu Tang、Bing Qin
摘要：物理 AI 通常围绕一个明确指定的任务来构建：给定一个目标或指令，系统进行感知、推理并行动。然而，在许多现实场景中，重要任务会在人明确表述之前就从不断变化的世界状态中涌现出来。我们将这一互补性问题作为主动式物理 AI（Proactive Physical AI）来研究，即 AI 系统持续观察物理世界，识别需要干预的情境，并在恰当时机主动发起适当行动。我们开发了 ProAgent，这是一个端到端系统，围绕两个组件构建：一个 Jev 风格的主动时机模型（称为 StreamingJev），用于判断是否需要干预以及何时干预；以及一个响应模型，用于为人生成响应或调用可用的设备能力以进行物理执行。为支持大规模学习，我们开发了一条自动化数据流水线，将视频转换为主动时机的监督信号。实验表明，在明确目标和常设角色两种设定下，该方法均展现出强大的主动性能，相比源骨干基线，实现了更准确的干预时机和更少的误触发。真实机器人评估进一步证明了 ProAgent 能够识别新出现的需求，并将其转化为适当的物理行动。
| 评论： | 33 页，5 幅图，含附录 |
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；机器人学（cs.RO） |
| 引用为： | arXiv:2610.16967 [cs.CV] |
| （或 arXiv:2610.16967v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.16967 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Zhenhua Yang [查看邮箱]
[v1]
2026 年 10 月 12 日星期一 15:33:34 UTC（5,128 KB）
来源：arXiv cs.AI · arxiv.org