arXiv cs.AI· Bohua Wang, Congyang Zhao, Tianxiong Lv, Chenxu Zhao, He Zheng, Hangqi Fan, Leigang Luo, Zhihao Liao, Yihong Guo, Yang Cai·· 12 小时前AI 评分22
GCSR-OCC:面向开放词汇占用预测的几何校准与语义路由
GCSR-OCC: Geometry Calibration and Semantic Routing for Open-Vocabulary Occupancy Prediction
AI 导读
GCSR-OCC 通过几何校准与多模式查询条件语义路由,从单张 RGB 图像实现室内开放词汇 3D 占用预测。在无 3D 语义标注的情况下,该方法在 Occ-ScanNet 上取得 63.31% 几何 IoU 和 27.44% 语义 mIoU 的 SOTA 表现,并将几何聚合延迟从 19.76 ms 降至 12.88 ms。代码将公开。
正文 · AI 翻译
摘要:开放词汇 3D 占用预测在统一的体素网格中表示场景几何与语义,从而能够识别预定义类别之外的物体。一种方法使用 3D 高斯重建场景,并将其转换为体素占用。然而,高斯尺度膨胀和过度重叠会扭曲体素占用预测,而跨越多个类别的高斯内部以及 3D--2D 语义特征对齐过程中可能出现语义混合。我们提出 GCSR-OCC,它结合几何校准和多模式查询条件语义路由,从单张 RGB 图像进行室内占用预测。证据守恒高斯到占用算子(EC-G2O)使用核质量归一化、$p$-范数聚合和可学习增益来抑制尺度膨胀和过度局部证据累积,同时校准占用响应。多模式查询优先高斯语义路由(MM-QGSR)将每个高斯的多个语义模式与文本查询匹配,并通过可学习的文本条件路由器将查询特定证据聚合到体素中。细粒度子类查询和平滑语义聚合进一步细化体素级预测。在没有 3D 语义标注的情况下,GCSR-OCC 在 Occ-ScanNet 上的开放词汇占用预测中取得了最先进的性能,几何 IoU 为 63.31%,语义 mIoU 为 27.44%。它还将几何聚合延迟从 19.76 ms 降低到 12.88 ms。我们的代码将公开提供。
| 学科: | 计算机视觉与模式识别(cs.CV);人工智能(cs.AI) |
| 引用为: | arXiv:2610.37149 [cs.CV] |
| (或此版本的 arXiv:2610.37149v1 [cs.CV]) | |
| https://doi.org/10.48550/arXiv.2610.37149 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Bohua Wang [查看电子邮件]
[v1]
2026 年 10 月 27 日星期二 12:47:53 UTC(4,290 KB)
来源:arXiv cs.AI · arxiv.org