arXiv cs.AI· Yu Wang, Rui Dai, Wei Chen, Yi Wang, Bo Dang, Kaikui Liu, Xiangxiang Chu, Yansheng Li·· 3 天前AI 评分26
Urbex:面向城市级 3D 场景的智能体空间定位框架
Urbex: Agentic Spatial Grounding for City-Scale 3D Scenes
AI 导读
Urbex 是一个智能体视觉语言框架,将城市级 3D 定位重构为主动空间搜索,让 VLM 智能体查询地标、缩放局部区域、渲染斜视图并输出定位边界框。该框架在 CityRefer 上通过强化学习优化工具使用策略,取得最佳 Hit@1 和 IoU,无需候选框与真值框,且显著快于最强的城市级排序基线。在 STPLS3D-Refer 上的零样本结果进一步显示跨场景鲁棒性提升。
正文 · AI 翻译
摘要:城市尺度 3D 定位通常被表述为候选排序,这需要预先计算实例提议,在大规模户外场景中效率低下。我们提出 Urbex,一个智能体式视觉语言框架,转而将定位视为主动空间搜索。Urbex 将城市尺度 3D 场景表示为交互式多视图环境,允许 VLM 智能体查询地标、放大局部区域、渲染斜视图,并提交定位边界框。我们在 CityRefer 上通过强化学习优化这一工具使用策略,使用平滑定位奖励和轻量塑形奖励以实现高效探索。实验表明,Urbex 在 CityRefer 上取得了最佳的 Hit@1 和 IoU,支持无需真值框的无候选定位,并且比最强的城市尺度排序基线快得多。在 STPLS3D-Refer 上的零样本结果进一步表明跨场景鲁棒性有所提升。
| 评论: | NeurIPS 2026。23 页,10 幅图。代码:此 https URL |
| 主题: | 计算机视觉与模式识别(cs.CV);人工智能(cs.AI) |
| 引用为: | arXiv:2610.18356 [cs.CV] |
| (或 arXiv:2610.18356v1 [cs.CV] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.18356 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Wang Yu [查看邮箱]
[v1]
2026 年 10 月 13 日星期二 13:23:24 UTC(15,530 KB)
来源:arXiv cs.AI · arxiv.org