arXiv cs.AI· Haoran Yuan, Weigang Yi, Zhenyu Zhang, Wendi Chen, Yuchen Mo, Jiashi Yin, Xinzhuo Li, Yue Luo, Jialin Li, Xiangyu Zeng, Chuan Wen, Cewu Lu, Katherine Driggs-Campbell, Ismini Lourentzou·· 11 小时前AI 评分42
VTAM：无需触觉预训练的高效视触觉世界-动作模型，面向接触密集型操作
VTAM: Efficient Visuo-Tactile World-Action Models for Contact-Rich Manipulation without Tactile Pretraining
AI 导读
VTAM 是一个无需触觉或动作预训练的高效视触觉世界-动作模型，RGB 与触觉观测共享冻结的视频 VAE 和预训练视频 Transformer 权重，先联合预测未来视觉与触觉潜变量，再用随机初始化的动作专家端到端微调。
正文 · AI 翻译
作者：Haoran Yuan、Weigang Yi、Zhenyu Zhang、Wendi Chen、Yuchen Mo、Jiashi Yin、Xinzhuo Li、Yue Luo、Jialin Li、Xiangyu Zeng、Chuan Wen、Cewu Lu、Katherine Driggs-Campbell、Ismini Lourentzou
摘要：触觉视觉-语言-动作模型（VLA）和触觉世界-动作模型（WAM）是面向接触密集型操作的一种有前景的新范式，但现有模型要么对触觉利用不足，要么依赖大规模触觉预训练，要么因迭代式视频生成而产生较高的推理延迟。我们提出 VTAM，一种用于接触密集型操作的高效视觉-触觉世界-动作模型，无需触觉或动作预训练。RGB 与触觉观测共享一个冻结的视频 VAE 和预训练的视频 transformer 权重。VTAM 首先将视频骨干网络适配为联合预测未来的视觉与触觉潜变量，然后使用随机初始化的动作专家进行端到端微调，该专家预测动作、本体感受状态，以及由触觉光流计算得到的轻量流-力代理量。仅使用任务演示进行训练，VTAM 在两个平台、不同触觉传感器的四个真实机器人任务上优于所有基线，在八个 UniVTAC 仿真任务上的平均成功率优于所有未进行触觉预训练的基线，并且与在超过 30K 小时、以视觉-触觉为主的机器人数据上预训练的触觉 VLA 和 WAM 相当（83.4% 对 N0-TWAM 的 84.5%）。在推理时无需完整视频去噪，VTAM 在未编译情况下比 N0-TWAM 和 LingBot-VA 分别快约 6 倍和 16 倍，编译后的延迟与 Fast-WAM 相当。消融实验表明：将冻结 VAE 的触觉特征直接送入动作专家、绕过触觉世界建模，在所有测试任务上均失败；第一阶段视觉-触觉世界模型微调提升了 UniVTAC 在大多数任务上的成功率；流-力代理量可防止策略完全忽略触觉。触觉编码器可在 GelSight Mini 和 Xense Photon 传感器之间零样本迁移。
| 评论： | 12 页。项目页面：this https URL |
| 主题： | 机器人学（cs.RO）；人工智能（cs.AI）；计算机视觉与模式识别（cs.CV）；机器学习（cs.LG） |
| 引用为： | arXiv:2603.23481 [cs.RO] |
| （或本版本使用 arXiv:2603.23481v2 [cs.RO]） | |
| https://doi.org/10.48550/arXiv.2603.23481 arXiv 颁发的 DOI（通过 DataCite） |
提交历史
来自：Haoran Yuan [查看邮箱]
[v1]
2026 年 3 月 24 日星期二 17:45:06 UTC（36,714 KB）
[v2]
2026 年 11 月 5 日星期四 07:33:10 UTC（18,191 KB）
来源：arXiv cs.AI · arxiv.org