arXiv cs.CL· Yiyang Du, Zhanqiu Guo, Haochen Zhang, Annabella Macaluso, Xin Ye, Liu Ren, Yonatan Bisk, Chenyan Xiong·· 2 天前AI 评分31
EmbodiedMidtrain：通过中训练弥合 VLM 与 VLA 之间的差距
EmbodiedMidtrain: Bridging the Gap between Vision-Language Models and Vision-Language-Action Models via Mid-training
AI 导读
研究者提出 EmbodiedMidtrain，通过中训练弥合 VLM 与 VLA 之间的数据分布差距。该方法用轻量可学习邻近度估计器从大规模 VLM 数据池中筛选与 VLA 最对齐的样本，构建 EmbodiedMidtrain-1M 数据集，在 VLA 微调前对 VLM 进行中训练。
正文 · AI 翻译
摘要：视觉-语言-动作模型（VLA）从视觉-语言模型（VLM）继承了视觉和语言能力，然而大多数 VLA 是基于现成的 VLM 构建的，这些 VLM 并未针对具身领域进行适配，从而限制了其下游性能。在这项工作中，我们提出 EmbodiedMidtrain 以弥合 VLM 与 VLA 之间的差距。我们首先刻画了二者之间的数据分布差距，表明 VLA 数据占据紧凑区域，这些区域在很大程度上与更广泛的 VLM 分布相分离，而对齐程度在 VLM 数据源之间以及内部都存在显著差异。然后，我们构建了一个中间训练数据引擎，利用轻量级可学习邻近度估计器从大型 VLM 池中选择与 VLA 最对齐的候选样本，并生成 EmbodiedMidtrain-1M，这是一个 VLM 数据集，我们进一步用它在下游 VLA 微调之前对 VLM 进行中间训练。在模拟机器人操作基准和真实世界任务上的实验表明，在 VLM 主干和 VLA 动作头上，VLA 性能相较于现成检查点均获得一致提升。这些提升还扩展到未用于指导数据选择的下游任务。进一步分析表明，中间训练为 VLA 微调提供了更强的初始化，提升从最早步骤就出现，并在整个训练过程中不断扩大。此外，该数据引擎同时捕捉数据集级和样本级的对齐信号，偏好空间推理而非以文本为中心的任务，同时保持 VLM 数据的多样性。我们将发布所有代码、数据和模型以供未来研究。
| 学科： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2604.20012 [cs.CV] |
| （或本版本使用 arXiv:2604.20012v2 [cs.CV]） | |
| https://doi.org/10.48550/arXiv.2604.20012 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Yiyang Du [查看邮箱]
[v1]
2026年4月21日星期二 21:40:58 UTC（3,268 KB）
[v2]
2026年10月15日星期四 17:55:44 UTC（23,095 KB）
来源：arXiv cs.CL · arxiv.org