跳到正文
arXiv cs.AI· Baoshuo Cai, Xinrui Jiang, Bing Cao·· 10 小时前AI 评分26

高斯基元融合 GPF:无需重采样的任意分辨率多模态图像融合

Gaussian Primitive Fusion for Any-Resolution Multimodal Images

AI 导读

研究者提出高斯基元融合(GPF),将异分辨率多模态图像融合改为在共享连续高斯空间中直接拟合各模态原生分辨率观测,并按最细原生分辨率渲染融合结果,全程不做重采样。在异分辨率输入下,GPF 的目标轮廓更清晰、纹理更细,模糊与块状伪影少于“先重采样再融合”流程。在多个红外-可见光基准上,其定量结果优于配备插值或超分前端的 SOTA 融合方法。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:多模态图像融合将来自不同模态的互补观测整合为统一表示。现有方法通常在共同的离散网格上估计模态贡献。当源模态具有不同的原生分辨率时,构建这样的网格通常涉及重采样,这可能引入伪影并影响后续的融合决策。为解决这一问题,我们提出了高斯基元融合(GPF),它在共享的连续高斯空间中重新表述异构分辨率融合。GPF 不先将源图像转换为共同分辨率,而是用共享的高斯几何和模态特定的内容表示直接拟合其原生分辨率观测,并在所得的连续表示中学习模态贡献。一旦优化完成,融合表示便以最细的原生分辨率渲染,而无需对源进行重采样。在异构分辨率输入下,GPF 相比先重采样再融合的流程,能产生更清晰的目标轮廓和更精细的纹理,模糊和块状伪影更少。在定量上,它在多个红外-可见光基准上,相对于配备插值或超分辨率前端的先进融合方法取得了最佳结果。
评论: 15 页,8 幅图
主题: 计算机视觉与模式识别(cs.CV);人工智能(cs.AI)
引用为: arXiv:2611.24164 [cs.CV]
  (或 arXiv:2611.24164v1 [cs.CV] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.24164

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Baoshuo Cai [查看邮箱]
[v1] 2026 年 11 月 18 日星期三 10:06:21 UTC(6,653 KB)

来源:arXiv cs.AI · arxiv.org