arXiv cs.AI· Chenyuan Zhou, Yining Hong, Huang Huang, Yunfan Jiang, Wenlong Huang, David Held, Vitor Campagnolo Guizilini, Yue Wang, Li Fei-Fei, Jiajun Wu, Leonidas Guibas, Yejin Choi·· 2 天前AI 评分34
T2-Z：面向机器人世界模型的环境隐变量测试时优化
T2-z: Test-Time Optimization of Environment Latents for Robotic World Models
AI 导读
T2-Z 通过为机器人世界模型附加可学习的环境隐变量，在测试时冻结世界模型、仅用一次或多次交互轨迹优化该隐变量，从而适应未见过的环境配置。在 7 个模拟设置和 4 项真实机器人任务中，物体预测误差指标从 15.20 降至 7.00，动作成功率从 33.73% 提升至 72.96%。消融实验显示，T2-Z 仅凭单条测试时交互轨迹即可高效推断环境隐变量。
正文 · AI 翻译
作者：Chenyuan Zhou、Yining Hong、Huang Huang、Yunfan Jiang、Wenlong Huang、David Held、Vitor Campagnolo Guizilini、Yue Wang、Li Fei-Fei、Jiajun Wu、Leonidas Guibas、Yejin Choi
摘要：预测世界如何响应某一动作，所需的信息远不止可见之物：机器人必须考虑那些既无法直接观测、也未被明确指定的环境因素，从摩擦力和质量等物理属性，到人类定义的环境规则。我们提出 T2-Z，用于在测试时优化环境潜变量，它为机器人世界模型增加一个可学习的环境潜变量，以条件化世界预测。这一紧凑的潜变量无需监督环境因素有哪些或其取值为何，即可捕捉潜在的环境变化。在训练过程中，T2-Z 在两个阶段之间交替：世界模型优化阶段固定潜变量，学习跨环境的一般动作条件动力学；环境潜变量优化阶段冻结世界模型并优化条件潜变量，使潜变量结构纯粹通过世界预测而涌现。在测试时，世界模型保持冻结，新初始化的环境潜变量通过一次或多次测试时交互进行优化，使模型适应此前未见过的环境配置。在 7 个模拟设置和 4 个真实世界机器人任务中，T2-Z 将物体预测误差指标从 15.20 降至 7.00，并将动作成功率从 33.73% 提升至 72.96%。其涌现的潜变量在多样化的视觉场景中捕捉到对单个因素和复合因素的结构化表示。消融实验进一步表明，T2-Z 能够仅从单条测试时交互轨迹中高效推断环境潜变量。
| 主题： | 机器人学（cs.RO）；人工智能（cs.AI）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2610.22364 [cs.RO] |
| （或 arXiv:2610.22364v1 [cs.RO] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22364 arXiv 颁发的 DOI 经由 DataCite（待注册） |
提交历史
来自：Yining Hong [查看邮箱]
[v1]
2026年10月15日星期四 17:59:11 UTC（34,092 KB）
来源：arXiv cs.AI · arxiv.org