arXiv cs.AI· Qinchuan Cheng, Zhantao Gong, Pengzhan Sun, Angela Yao, Xulei Yang, Shijie Li·· 10 天前AI 评分12
Ego2World：将第一视角烹饪视频编译为可执行世界以进行信念状态规划
Ego2World: Compiling Egocentric Cooking Videos into Executable Worlds for Belief-State Planning
AI 导读
Ego2World 是一个可执行基准，将第一视角烹饪视频转化为由图转移规则驱动的符号世界，基于 HD-EPIC 从视频标注中提取可复用转移规则，并在隐藏符号世界图中执行。评估时模拟器维护隐藏世界图，智能体仅凭局部观察和执行反馈在自身部分信念图上规划，无法观测真实世界状态。实验显示动作重叠分数会高估物理状态成功率，而持久信念记忆能提升任务完成率并减少重复视觉探索。
正文 · AI 翻译
本文已被 Qinchuan Cheng 撤回
摘要：家庭环境中的具身智能体必须在部分可观测条件下进行规划：它们需要记住物体、跟踪状态变化，并在动作失败时恢复。现有基准仅部分测试了这种能力。第一人称视频数据集捕捉了真实的人类活动，但仍是被动的；而交互式模拟器支持执行，却依赖合成场景和手工设计的动力学，引入了仿真到现实的差距，并且通常假设状态完全可观测。我们提出 Ego2World，一个可执行基准，将第一人称烹饪视频转化为由图转移规则支配的可执行符号世界。Ego2World 基于 HD-EPIC 构建，从视频标注中推导出可复用的转移规则，并在隐藏的符号世界图中执行它们。在评估过程中，模拟器维护隐藏的世界图，而智能体仅使用局部观测和执行反馈，在自身的部分信念图上进行规划。这种分离迫使智能体在不观察真实世界状态的情况下更新记忆并重新规划。实验表明，动作重叠分数高估了物理状态成功率，而持久信念记忆提高了任务完成度，同时减少了重复的视觉探索——这表明信念维护应成为具身智能体评估的一等目标。
| Comments: | 我有一个新版本（与之前版本差异巨大），并且已经将其放在 arXiv 上，因此我需要撤回之前的版本，以避免两篇文章同时保留在 arXiv 上可能造成混淆 |
| Subjects: | 人工智能（cs.AI）；计算机视觉与模式识别（cs.CV） |
| Cite as: | arXiv:2605.13335 [cs.AI] |
| （或 arXiv:2605.13335v2 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2605.13335 arXiv 颁发的 DOI 通过 DataCite |
Submission history
来自：Qinchuan Cheng [查看邮箱]
[v1]
2026年5月13日星期三 10:53:15 UTC（3,617 KB）
[v2]
2026年10月6日星期二 01:22:36 UTC（1 KB）（已撤回）
来源：arXiv cs.AI · arxiv.org