arXiv cs.AI· Weize Cai, Yongqi Dong, Zhida Shao, Zixin Fu, Xiaoxi Hu·· 4 小时前AI 评分22
Semantic Prism:基于显式语义-图像接口的生成式分割框架
Semantic Prism: Generative Segmentation with an Explicit Semantic-Image Interface
AI 导读
Semantic Prism 用扩散蒸馏骨干生成语义 RGB 图像,通过固定类别-颜色码本的距离定义接口 logits,在 Cityscapes 500 张验证集上达到 72.07% 平均 mIoU,比直接接口解码提升 11.39 个百分点。
正文 · AI 翻译
摘要:条件图像生成器可以将分割图渲染为语义 RGB 图像,但颜色漂移和边界混合会影响直接解码。我们提出 Semantic Prism,一个将显式语义图像接口与分层细化相结合的框架,用于道路场景分割。一个基于扩散蒸馏骨干网络改造的生成器对每个裁剪区域执行一次去噪更新,生成语义 RGB 图像。与固定类别颜色码本的距定义了接口 logits 和逐像素类别概率。分层生成器证据对齐(HGEA)将生成器 VAE 编码器中空间对齐的多级特征与输入图像、生成的语义图像和接口概率相结合,以预测对这些 logits 的加性修正。上下文接口层级不一致性(C-IHD)将逐点不确定性、局部上下文和接口细化不一致性组合成一个固定分数,用于对像素误差进行排序,无需辅助预测器或额外的网络前向。在 500 张图像的 Cityscapes 验证集上,Semantic Prism 达到 72.07% 的平均 mIoU,比直接接口解码提高了 11.39 个百分点。大量容量匹配的消融实验表明,多级细化的平均 mIoU 高于扁平化和单级替代方案。在 Cityscapes 上训练的模型迁移到 ACDC 数据集,在没有目标域适应的情况下达到 46.89% mIoU。在 Cityscapes 之外,在 BDD100K 数据集上,单独训练的模型在其完整的 1,000 张图像验证集上达到 62.22% mIoU。在评估的 3 个数据集上,C-IHD 在像素误差 AUPR 上优于基于最大 softmax 概率的不确定性,每次比较中分割预测保持固定。特别是在 ACDC 上,AUPR 从 0.6580 增加到 0.7557,表明 Semantic Prism 在恶劣条件域偏移下提供了更有效的误差排序。
| 评论: | 16 页,4 张图 |
| 主题: | 计算机视觉与模式识别(cs.CV);人工智能(cs.AI);机器学习(cs.LG);图像与视频处理(eess.IV) |
| 引用为: | arXiv:2608.11537 [cs.CV] |
| (或此版本的 arXiv:2608.11537v2 [cs.CV]) | |
| https://doi.org/10.48550/arXiv.2608.11537 由 DataCite 颁发的 arXiv DOI |
提交历史
来自:Yongqi Dong [查看电子邮件]
[v1]
2026 年 8 月 12 日星期三 01:00:04 UTC(6,564 KB)
[v2]
2026 年 11 月 17 日星期二 17:08:08 UTC(12,408 KB)
来源:arXiv cs.AI · arxiv.org