arXiv cs.AI· Hongchang Liu, Jian Liu, Yujuan Ding, Liang Peng, Xun Jiang, Fei Ma, Xing Xu, Yi Bin·· 2 天前AI 评分25
GeoState：面向 3D 世界建模的视角解耦几何状态学习
GeoState: Learning View-Decoupled Geometry States for 3D World Modeling
AI 导读
GeoState 是一种视角解耦的几何表示，用于预测式 3D 世界建模，将场景状态演化与相机相关观测分离。它通过场景 tokenizer 将多视角 GFM 特征聚合为视角解耦的场景状态，由几何解码器用相机射线查询，自回归世界模型预测未来场景状态，相机运动单独建模。
正文 · AI 翻译
摘要：近期的 3D 世界模型越来越多地使用几何基础模型（GFM）的特征作为预测性世界状态，受益于其丰富的几何先验。然而，这些特征的视角依赖性将场景动态与相机引起的变异纠缠在一起，使得由此产生的状态演化更难预测。我们提出 GeoState，一种用于预测性 3D 世界建模的视角解耦几何表示，将场景状态演化与相机相关观测分离。具体而言，场景分词器将多视角 GFM 特征聚合为视角解耦的场景状态，几何解码器使用相机射线对其进行查询。随后，自回归世界模型预测未来场景状态，而相机运动则单独建模。因此，预测的状态可以在预测相机或外部指定相机下解码，同时在整个 rollout 过程中保持单一由上下文导出的尺度，无需逐帧尺度对齐。实验表明，GeoState 在 Waymo 上优于先前的 3D 世界模型，支持几何一致的跨视角查询，并能零样本泛化到 KITTI 和 nuScenes。项目页面：此 https URL
| 主题： | 计算机视觉与模式识别（cs.CV）；人工智能（cs.AI）；机器学习（cs.LG）；机器人学（cs.RO） |
| 引用为： | arXiv:2610.22343 [cs.CV] |
| （或 arXiv:2610.22343v1 [cs.CV] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.22343 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Hongchang Liu [查看电子邮件]
[v1]
2026年10月15日星期四 17:56:18 UTC（2,685 KB）
来源：arXiv cs.AI · arxiv.org