跳到正文
arXiv cs.AI· Derong Yu, Qingsong Zhao, Yanbing Yue, Yikai Li, Zhi Zhang, Guoyan Zheng·· 12 小时前AI 评分22

UNIVERS:通过随机合成学习通用体素级嵌入,实现可泛化的一次性关键点定位

UNIVERS: Learning UNIversal Voxel-wise Embedding via Randomized Synthesis for generalizable one-shot landmark localization

AI 导读

UNIVERS 是一个端到端可训练框架,通过从器官形状模板合成伪数据并对语义布局、视觉外观、FOV 和空间位姿做随机化,学习通用体素级嵌入,实现任意 FOV 多模态体扫描的一次性关键点定位。在三个肾上腺数据集上,该方法持续优于 SOTA 一次性关键点定位方法,跨模态场景优势尤为突出。源代码已公开。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:在视野(FOV)各异的体扫描中进行单样本关键点定位具有挑战性。现有自监督学习方法虽已展现出良好性能,但其依赖基于同一图像增强视图构建的对比学习,这本质上限制了其在跨模态场景中的泛化能力。这促使研究者探索利用成对多模态图像的跨模态嵌入学习。然而,现有方法不仅受限于训练数据不足,还要求多阶段迭代训练。为解决这些局限,我们提出 UNIVERS,一个端到端可训练框架,通过随机合成学习通用体素级嵌入(UNIversal Voxel-wise Embedding)。该框架利用由器官形状模板合成的多样化伪数据,并对语义布局、视觉外观、FOV 和空间位姿施加随机化。结合跨域判别式体素级对比学习,这种域随机化策略迫使网络忽略域特定偏差,学习对成像对比度、分辨率和空间上下文变化具有鲁棒性的特征。因此,训练后的模型能够在具有任意 FOV 的多模态体扫描中实现单样本关键点定位。本研究通过将该方法应用于肾上腺定位任务来验证其有效性,肾上腺是成对、小型且不规则的内分泌器官。特别地,我们在三个具有挑战性的肾上腺数据集上开展了全面实验。实验结果表明,UNIVERS 始终优于最先进(SOTA)的单样本关键点定位方法,在跨模态场景中优势尤为突出。源代码已公开于 此 https URL。
主题: 计算机视觉与模式识别(cs.CV);人工智能(cs.AI)
引用为: arXiv:2610.29098 [cs.CV]
  (或 arXiv:2610.29098v1 [cs.CV] 用于此版本)
  https://doi.org/10.48550/arXiv.2610.29098

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Derong Yu [查看邮箱]
[v1] 2026年10月21日 星期三 02:42:14 UTC(10,158 KB)

来源:arXiv cs.AI · arxiv.org