GroundingPI：以视觉基元实现物理智能的定位基础模型

作者：Qize Yu、Lianrui Fan、Boyu Chen、Jiaqi Liang、Xini Ding、Yue Chen、Zetian Song、Yuran Wang、Yi Zou、Kaixuan Wang、Tianxing Chen、Wenxuan Song、Bohan Zhou、Mingleyang Li、Siqiao Huang、Yuqi Ye、Caigao Jiang、Wei Wei、Ruihai Wu、Hang Zhang、Yixiao Ge、Shuchang Zhou、Shilong Liu、Xianming Liu、Ping Luo、Shiyu Huang

查看 PDF HTML（实验性）

摘要：精确的定位至关重要。它要指明哪个物体是目标以及该物体位于何处，即使在杂乱场景和小物体情况下也是如此，并且必须足够快以满足闭环控制的需要。然而，视觉-语言-动作（VLA）模型和世界-动作模型（WAMs）从通用视觉-语言和视频生成骨干网络中获取感知能力，而这些骨干网络在这些场景下仍然表现不佳。我们提出 GroundingPI，一个 4B 的定位基础模型，它以共享词表中的量化坐标形式生成点和框。训练结合了多模态与空间预训练、监督微调，以及使用 GRPO 的强化学习，监督信号来自公开数据集和专门的数据引擎。在涵盖 11 种感知能力的 34 个定位基准上，与 44 个基线相比，GroundingPI 确立了新的最先进水平，平均达到 73.68%，高于规模更大的 GPT-6 Astra（71.54%）。作为下游视觉骨干网络，GroundingPI 提升了机器人操作和自动驾驶的性能。在 RoboTwin 2.0 上，它在全部四种分布外设置中均优于我们评估的每一个主流骨干网络，相对最强骨干网络最高提升 24.8%。在 RoboCasa-GR1 上，仅用 50% 的演示数据训练的 GroundingPI 优于用 75% 数据训练的基线。在 nuScenes 上，作为视觉骨干网络使用时，GroundingPI 达到 0.296 m 的平均开环 L2 误差。我们系统分析了 GroundingPI 预训练的规模和数据组成。随着预训练规模扩大，下游自动驾驶和机器人操作性能得到提升。分析这 11 种感知能力的数据配方表明，密集定位对两者都有显著益处，而 OCR 具有作为感知学习催化剂的潜力。这些结果支持将定位作为感知基础，并将专门的感知预训练作为物理智能基础模型的一个有前景的方向。

评论：	64 页，包括补充材料。项目页面：this https URL 代码：this https URL 模型：this https URL
主题：	计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；机器学习（cs.LG）；机器人学（cs.RO）
ACM 分类：	I.2.10; I.2.6; I.2.9
引用为：	arXiv:2609.39601 [cs.CV]
	（或本版本使用 arXiv:2609.39601v2 [cs.CV]）
	https://doi.org/10.48550/arXiv.2609.39601 由 DataCite 颁发的 arXiv DOI

提交历史

发件人：Qize Yu [查看邮件]
[v1] 2026年9月30日星期三 12:20:54 UTC（13,146 KB）
[v2] 2026年10月16日星期五 12:38:38 UTC（13,146 KB）