arXiv cs.AI· Ruimeng Liu, Denan Liang, Ruofei Bai, Fuming Zhang, Kuan Xu, Shenghai Yuan, Lihua Xie·· 10 小时前AI 评分34
PhysMoE：模态解耦 VLM 中用单 Token 坐标表示实现快速空间定位
PhysMoE: Fast Spatial Grounding with Single-Token Coordinate Representation in Modality-Decoupled VLMs
AI 导读
PhysMoE 通过按物理模态解耦 VLM 上下层——共享低层、上层分别路由至空间与语言专家，并用视觉编码器位置嵌入把每个坐标编码为单个 token，在 9 个坐标定位基准上平均提升 15.7%、吞吐提速 8.31 倍。
正文 · AI 翻译
摘要：具身视觉语言模型（VLM）是机器人规划与操作的主干。然而，在 grounding 任务中的坐标预测方面，现有架构面临两个不同的瓶颈：离散 token 化以高解码延迟破坏了空间连续性，而标准点回归在多接触可供性和不规则形状目标上失效。为解决这些挑战，我们提出 PhysMoE，引入三项核心贡献：（1）共享低层以获取多模态上下文，同时按物理模态将高层路由到专门的空间（像素）和语言（文本）专家，消除梯度干扰；（2）通过复用视觉编码器学习到的位置嵌入，将每个坐标编码为单个 token，注入 2D 空间先验，使坐标与视觉特征原生对齐并简化训练；（3）在指向任务上使用可微的有符号距离场（SDF）监督，无需昂贵的掩码解码器即可适应可供性和不规则几何形状。与基础模型相比，PhysMoE 在 9 个基于坐标的 grounding 基准（轨迹、可供性和定位）上平均提升 15.7%，吞吐量加速 8.31 倍，同时在 11 个基于文本的具身基准上保持多模态理解与推理能力。
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；机器人学（cs.RO） |
| 引用为： | arXiv:2611.13000 [cs.CV] |
| （或 arXiv:2611.13000v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.13000 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Ruimeng Liu [查看电子邮件]
[v1]
2026年11月8日星期日 16:00:02 UTC（969 KB）
来源：arXiv cs.AI · arxiv.org