arXiv cs.AI· Daniel Mensing, Jan Kapar, Jochen G. Hirsch, Matthias G\"unther, Horst Hahn, Marvin N. Wright·· 3 天前AI 评分21
多模态潜在扩散模型通过交叉注意力在共享潜在空间联合合成 MRI 与表格数据
Multimodal synthesis of MRI and tabular data with diffusion in a joint latent space via cross-attention
AI 导读
研究者提出一种多模态潜在扩散模型，通过交叉注意力在共享潜在空间内联合合成体积 MRI 与表格临床数据，先用变分自编码器融合两种模态，再以独立解码器分别重建。该框架在德国国家队列（NAKO）超 1 万名参与者的 MRI 与年龄、性别、身体测量、族裔等表格特征上评估，生成影像具备解剖合理性与身体成分一致性，表格模态在标准指标上优于 CTGAN、与 TVAE 相当。
正文 · AI 翻译
摘要：我们提出了一种多模态潜在扩散模型，通过交叉注意力在共享潜在空间内联合合成体积磁共振成像（MRI）和表格临床数据。该方法能够对 MRI 和表格模态进行连贯的联合表示学习以用于生成建模。我们的模型利用变分自编码器在基于扩散的合成之前融合这两种模态，从而通过分别用于 MRI 和表格数据的独立解码器实现模态适配的重建。我们在德国国家队列（NAKO Gesundheitsstudie）的数据上评估了该框架，该数据包含超过 10,000 名参与者，具有 MRI 扫描以及年龄、性别、身体测量值和族裔等临床表格特征。生成的 MRI 体积表现出解剖学合理性以及与合成表格属性一致的身体成分。使用 Fréchet 距离和精确率-召回率指标进行的定量评估证实了高保真图像生成。在表格模态中，我们的模型在标准评估指标上优于 CTGAN，并取得了与 TVAE 相当的结果，表明其相对于已建立的单模态基线具有竞争力。据我们所知，这项工作首次证明了在单一潜在扩散框架中联合建模 MRI 和混合类型表格数据的可行性，为生成连贯的合成多模态患者数据提供了概念验证，并与医疗保健中开发数字孪生的更广泛目标相一致。
| 学科： | 图像与视频处理（eess.IV）；人工智能（cs.AI）；计算机视觉与模式识别（cs.CV）；机器学习（cs.LG） |
| 引用为： | arXiv:2605.06699 [eess.IV] |
| （或 arXiv:2605.06699v2 [eess.IV] 对应此版本） | |
| https://doi.org/10.48550/arXiv.2605.06699 由 DataCite 颁发的 arXiv DOI |
|
| 期刊 参考： | Proc. SPIE 13925, Medical Imaging 2026: Image Processing, 139252D (April 03, 2026) |
| 相关 DOI： | https://doi.org/10.1117/12.3086603
链接到相关资源的 DOI |
提交历史
来自：Jan Kapar [查看电子邮件]
[v1]
2026年5月5日星期二 08:30:20 UTC（1,116 KB）
[v2]
2026年10月12日星期一 11:28:05 UTC（1,116 KB）
来源：arXiv cs.AI · arxiv.org