arXiv cs.AI· Jiachun Jin, Zetong Zhou, Haonan Wang, Xiao Yang, Jun Zhu, Zhijie Deng·· 1 天前AI 评分38
SALA：语义对齐的潜在动作实现具身基础模型双轴扩展
SALA: Semantically Aligned Latent Actions Enable Dual-Axis Scaling of Embodied Foundation Models
AI 导读
SALA 通过无配对数据的方式，利用人类与机器人视频片段的语言描述估计语义相似度，监督跨具身对应关系，解决现有潜在动作模型（LAMs）按视觉外观而非动作聚类的问题。该方法构建共享潜在动作空间，在预训练阶段用更多通用人类视频持续降低下游机器人动作预测误差，在后训练阶段用更多任务特定人类视频显著提升真实机器人任务成功率。
正文 · AI 翻译
摘要：具身基础模型依赖于多样化的机器人交互数据，而这些数据的采集成本高昂。第一人称人类视频提供了一种互补的经验来源，潜在动作模型（LAM）则提供了一种利用这些视频进行策略监督的流行手段。与世界动作模型（WAM）相比，LAM 通过在策略学习和执行期间避免显式的像素预测，能够提供更高的训练效率，并可能降低推理成本。然而，大多数现有的 LAM 仅通过视频重建来学习潜在动作，这可能导致其表征按视觉外观而非按底层动作聚类。因此，它们难以将人类动作与其机器人对应动作对齐。为弥合这一差距，我们提出了 SALA，它强调为潜在动作建立语义对应关系。在无需配对数据的情况下，我们利用未配对的人类和机器人视频片段的语言描述来估计语义相似度，并监督跨具身对应关系。具体而言，我们将这些相似度转化为软邻域结构，引导人类潜在动作趋向语义相关的机器人潜在动作，同时机器人动作重建将潜在空间锚定于控制之中。由此得到的共享潜在动作空间为在人类和机器人视频上训练具身基础模型提供了统一的监督信号。值得注意的是，潜在动作监督能够沿两个维度扩展：（1）在越来越多的通用人类视频上进行预训练，能够持续降低下游任务中的机器人动作预测误差；（2）在越来越多的任务特定人类视频上进行后训练，能够大幅提升真实世界机器人任务的成功率。
| 主题： | 机器人学（cs.RO）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.17110 [cs.RO] |
| （或 arXiv:2611.17110v1 [cs.RO] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.17110 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jiachun Jin [查看邮箱]
[v1]
2026年11月12日星期四 17:04:50 UTC（12,741 KB）
来源：arXiv cs.AI · arxiv.org