arXiv cs.AI· Chengcheng Wang, Wei He, Wenhao Li, Hongguang Li, Kai Han, Jianyuan Guo, Chang Xu·· 11 小时前AI 评分48
Concertina：把操作与认知统一进同一个扩散视觉语言模型
Concertina: Embodying Manipulation and Cognition in One Diffusion Vision-Language Model
AI 导读
Concertina 提出一种 eVLM，将连续轨迹表示、分块生成与物理坐标监督直接放在共享扩散 VLM 主干的计算与参数路径上，每个控制时间步编码为主干隐空间中的一个连续 latent action token。
正文 · AI 翻译
摘要：大多数视觉-语言-动作（VLA）策略将操作与认知解耦，做法是在视觉-语言模型（VLM）上外挂一个动作机制——要么将动作量化为离散 token，其误差与物理位移之间没有稳定的对应关系；要么将连续轨迹生成交给单独的动作专家，而后者的梯度会与 VLM 主干竞争，或被阻止更新 VLM 主干。我们认为，操作与认知应当体现在同一个模型中，即从解耦的 VLA 转向具身视觉-语言模型（eVLM）。我们提出 Concertina，这是一种 eVLM，它将连续轨迹表示、分块生成和物理坐标监督直接置于共享扩散 VLM 主干的 computation 与参数路径上。每个控制时间步被编码为主干隐藏空间中的一个连续潜在动作 token，共享 Transformer 通过多模态预训练所用的同一 corrupt-and-reconstruct 算子重建按时间排序的动作块。在 4.46B 模型中，活跃动作投影仅占参数的 0.21%，且没有单独的动作生成器层；相比之下，代表性连续 VLA 中专用的动作专家容量占 16.5%-35.1%。使用我们提出的 Action Interface Audit，我们确认跨时间轨迹耦合出现在共享主干的中层和深层，而不是在动作接口处。在标准基准上，Concertina 在常规 LIBERO 上达到 98.15% 的平均成功率，在包含 10,030 个任务的 LIBERO-Plus 基准上达到 85.9%，在 CALVIN ABC-D 上平均完成链长为 4.142。
代码：this https URL Hugging Face：this https URL
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；机器人学（cs.RO） |
| 引用为： | arXiv:2611.07513 [cs.CV] |
| （或 arXiv:2611.07513v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.07513 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Chengcheng Wang [查看邮箱]
[v1]
2026年11月5日星期四 06:20:37 UTC（1,743 KB）
来源：arXiv cs.AI · arxiv.org