arXiv cs.AI· Derong Yu, Qingsong Zhao, Yanbing Yue, Yikai Li, Zhi Zhang, Guoyan Zheng·· 12 小时前AI 评分22
UNIVERS:通过随机合成学习通用体素级嵌入,实现可泛化的一次性关键点定位
UNIVERS: Learning UNIversal Voxel-wise Embedding via Randomized Synthesis for generalizable one-shot landmark localization
AI 导读
UNIVERS 是一个端到端可训练框架,通过从器官形状模板合成伪数据并对语义布局、视觉外观、FOV 和空间位姿做随机化,学习通用体素级嵌入,实现任意 FOV 多模态体扫描的一次性关键点定位。在三个肾上腺数据集上,该方法持续优于 SOTA 一次性关键点定位方法,跨模态场景优势尤为突出。源代码已公开。
正文 · AI 翻译
摘要:在视野(FOV)各异的体扫描中进行单样本关键点定位具有挑战性。现有自监督学习方法虽已展现出良好性能,但其依赖基于同一图像增强视图构建的对比学习,这本质上限制了其在跨模态场景中的泛化能力。这促使研究者探索利用成对多模态图像的跨模态嵌入学习。然而,现有方法不仅受限于训练数据不足,还要求多阶段迭代训练。为解决这些局限,我们提出 UNIVERS,一个端到端可训练框架,通过随机合成学习通用体素级嵌入(UNIversal Voxel-wise Embedding)。该框架利用由器官形状模板合成的多样化伪数据,并对语义布局、视觉外观、FOV 和空间位姿施加随机化。结合跨域判别式体素级对比学习,这种域随机化策略迫使网络忽略域特定偏差,学习对成像对比度、分辨率和空间上下文变化具有鲁棒性的特征。因此,训练后的模型能够在具有任意 FOV 的多模态体扫描中实现单样本关键点定位。本研究通过将该方法应用于肾上腺定位任务来验证其有效性,肾上腺是成对、小型且不规则的内分泌器官。特别地,我们在三个具有挑战性的肾上腺数据集上开展了全面实验。实验结果表明,UNIVERS 始终优于最先进(SOTA)的单样本关键点定位方法,在跨模态场景中优势尤为突出。源代码已公开于 此 https URL。
| 主题: | 计算机视觉与模式识别(cs.CV);人工智能(cs.AI) |
| 引用为: | arXiv:2610.29098 [cs.CV] |
| (或 arXiv:2610.29098v1 [cs.CV] 用于此版本) | |
| https://doi.org/10.48550/arXiv.2610.29098 由 DataCite 颁发的 arXiv DOI(待注册) |
提交历史
来自:Derong Yu [查看邮箱]
[v1]
2026年10月21日 星期三 02:42:14 UTC(10,158 KB)
来源:arXiv cs.AI · arxiv.org