arXiv cs.AI· Zehao Gao, Jie Feng, Wenda Zhao, Junpeng Zhang, Ronghua Shang, Weisheng Dong·· 10 小时前AI 评分22
EmergeFuse:面向开放词汇语义分割的类别相对红外-可见光融合框架
Fuse to Recognize the Unseen: Class-Relative Infrared-Visible Fusion for Open-Vocabulary Semantic Segmentation
AI 导读
EmergeFuse 是一个面向开放词汇语义分割(OVSS)的红外-可见光融合框架,通过类别相对线索选择与文本对比图像校正,将热红外互补证据转化为未见类别的语义修正。在三个基准上,其未见类 mIoU 最高提升 4.755%,严格互补转换率提升 15.730%,同时保持有竞争力的融合质量。该方法针对 CLIP 类模型仅用 RGB 预训练、直接引入 IR 会破坏 RGB-语言对齐的问题。
正文 · AI 翻译
摘要:可见光-红外图像融合利用互补的热线索来增强视觉感知,尤其是在具有挑战性的光照条件下。然而,这种感知上的互补性并不能轻易转化为开放词汇语义分割(OVSS)中的语义增益,因为基于 CLIP 的模型主要是在 RGB 图像上预训练的。直接引入红外信息反而可能破坏 RGB 与语言的对齐,使原本有前景的热线索变成语义干扰,从而削弱对未见类别的识别。我们的像素级 RGB-IR 语义分析表明,与类别相关的热线索可以纠正某些 RGB 误分类,同时保留可靠的 RGB 预测,这促使我们采用以 RGB 为锚、类别相对的热线索选择方法。基于这一洞见,我们提出了 EmergeFuse,一个面向 OVSS 的红外-可见光融合框架,它选择性地将互补的热证据转化为未见类别的语义纠正。具体而言,类别相对线索选择会评估 RGB-IR 语义响应以及相对于 RGB 预测的校准热证据,通过竞争性选择生成类别相对的纠正请求。随后,文本对比图像校正通过文本对比将这些选定的请求转化为语义纠正方向,引导证据门控的特征更新,从而实现用于未见类别识别的互补热证据。在三个基准上的实验表明,与现有融合方法相比,未见类别 mIoU 最高提升 4.755%,严格互补转化率最高提升 15.730%,同时保持有竞争力的融合质量。
| 评论: | 11 页,6 张图 |
| 主题: | 计算机视觉与模式识别(cs.CV);人工智能(cs.AI) |
| 引用为: | arXiv:2611.24316 [cs.CV] |
| (或 arXiv:2611.24316v1 [cs.CV] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2611.24316 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Zehao Gao [查看邮箱]
[v1]
2026 年 11 月 18 日星期三 12:22:54 UTC(11,078 KB)
来源:arXiv cs.AI · arxiv.org