GeoGR：面向高效 3D VLM 的空间-语义 Token 压缩与分组路由

作者：Yongxin Zheng、Hao Wu、Fang Li、Hu Fu、Peiran Yin、Xudong Wang、Haozhe Hu、Xinghao Chen、Yunpu Ma、Wei Zhang、Xiaoyu Shen

摘要：多视图表示使预训练的图像和视频视觉语言模型能够理解 3D 场景，但其冗长的视觉 token 序列使推理成本高昂。冗余既来自不同视图对同一场景区域的重复观测，也来自在每个 LLM 层都处理所有视觉 token，而不论其与当前计算的相关性如何。我们提出 GeoGR，一个两阶段框架，联合压缩场景表示与视觉计算。在投影器层面，GeoSemZip 将跨视图观测整合为 3D 体素 token，并结合语义显著性与空间覆盖度构建紧凑的场景表示。未被选中的体素特征被聚合为上下文锚点，以保留原本会被丢弃的场景信息。在 LLM 层面，我们识别出一个有效的视觉计算窗口，并观察到以查询为条件的 token 相关性在局部保持稳定，但在更长的层区间上会发生变化。基于这些发现，GroupRoute 将晚进入和早退出与可恢复的分组跳过相结合。低相关性 token 绕过完整的 LLM 层，同时保留其隐藏状态，并可在后续按计算预算选定的锚点层重新加入活跃组。对于压缩感知的后训练，我们通过保留原始训练池的 30% 构建了一个包含 67K 样本的紧凑数据集。在此协议下，GeoGR 在 LLaVA-OneVision-7B 和 Video-3D LLM-7B 上分别保留了密集后训练模型性能的 95.2% 和 96.8%，同时将 LLM 预填充加速 $6.8\times$ 和 $6.1\times$。这些结果表明，GeoGR 在具有和不具有显式 3D 空间编码的 3D VLM 上均具有一致的有效性，凸显出良好的性能-效率权衡。代码可在此 https URL 获取。

学科：	计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；计算与语言（cs.CL）
引用为：	arXiv:2610.13035 [cs.CV]
	（或 arXiv:2610.13035v1 [cs.CV] 用于此版本）
	https://doi.org/10.48550/arXiv.2610.13035 arXiv 颁发的 DOI 通过 DataCite（待注册）

提交历史

来自：Hao Wu [查看电子邮件]
[v1] 2026年10月9日星期五 05:46:54 UTC（2,485 KB）