arXiv cs.AI· Andrea Agostini, Simon B\"ohi, Moritz Vandenhirtz, Samuel Ruiperez-Campillo, Max Kr\"ahenmann, Silke M\"uhlstedt, Irene Cannistraci, Ece \"Ozkan Elsen, Julia E. Vogt, Thomas M. Sutter·· 9 天前AI 评分24
LAMAE：面向多模态心脏表征学习的潜在注意力掩码自编码器
Reading the Whole Heart: Latent-Attention Masked Autoencoders for Multimodal Cardiac Representation Learning
AI 导读
LAMAE 是一种多模态、结构感知的掩码自编码器，通过共享潜在注意力模块在 study-view-entity 层级上直接交换信息，实现患者级表征的联合自监督预训练。该模型在超 50 万次 MIMIC-IV 住院数据上预训练，在院内死亡率、ICD-10 与 DRG 编码、住院时长等多模态任务上优于模态特定预训练及对比学习、视觉语言基线，同时在单模态任务上保持竞争力。
正文 · AI 翻译
摘要：心血管诊断与治疗依赖于整合互补的模态，例如心电图、超声心动图和胸部 X 光片，每种模态捕捉心脏病理生理学中不同但互补的方面。然而，大多数医学基础模型仍局限于单一模态，仅在微调或后训练阶段才结合多种模态。这丢弃了临床医生自然整合的跨模态证据，也忽略了每种模态内部的结构。我们提出了潜在注意力掩码自编码器（Latent-Attention Masked Autoencoder，LAMAE），这是一种多模态、结构感知的掩码自编码器，在自监督预训练期间联合学习患者级别的表征。LAMAE 并非事后融合各模态，而是通过一个在检查-视图-实体层级上运行的共享潜在注意力模块，直接在潜在空间中交换信息，从而能够聚合可变观测并处理缺失模态。LAMAE 在超过 500'000 次 MIMIC-IV 住院记录上预训练，在多模态住院任务（如院内死亡率、ICD-10 和 DRG 编码以及住院时长）上优于模态特定预训练以及强大的对比和视觉-语言基线，同时在单模态任务上仍具竞争力。对这种结构进行建模在单一模态内也有回报：即使没有跨模态信息，潜在注意力模块也能比模态特定预训练改进表征。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2609.12035 [cs.AI] |
| （或 arXiv:2609.12035v3 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.12035 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Andrea Agostini [查看电子邮件]
[v1]
2026年9月10日星期四 17:49:44 UTC（1,346 KB）
[v2]
2026年10月2日星期五 15:33:30 UTC（2,702 KB）
[v3]
2026年10月8日星期四 14:39:26 UTC（2,701 KB）
来源：arXiv cs.AI · arxiv.org