arXiv cs.AI· Ashvin Gupta, Brendan Delaney, Alessandra Russo·· 12 小时前AI 评分22
JEPA 用于纵向 EHR 序列表示是否有效？基于 MIMIC-IV 的实证研究
Are Joint-Embedding Predictive Objectives Effective for Longitudinal EHRs?
AI 导读
研究在 MIMIC-IV 上检验 Joint-Embedding Predictive Architectures（JEPA）能否用于纵向电子健康记录（EHR）序列表示，三种 JEPA 形式均训练稳定、无表示坍缩，但下游表现一致低于标准 MLM。目标尺寸而非目标异质性会增大预测误差，缩小目标尺寸也未恢复下游性能，说明仅靠稳定的潜空间预测不足以学到有竞争力的 EHR 表示。
正文 · AI 翻译
摘要：掩码语言建模（MLM）是应用于纵向电子健康记录（EHR）的 Transformer 编码器的主流预训练目标。然而，重建单个事件可能会过度强调噪声大或信息量弱的观测，并且不会明确鼓励学习更高层次的患者状态。联合嵌入预测架构（JEPA）则通过在潜在空间中预测表征来学习，并已在多个领域展现出强劲性能。本文研究 JEPA 在多大程度上可适配 EHR 序列表征。我们基于 MIMIC-IV 的实证研究表明，尽管我们的三种 JEPA 公式都能稳定训练且未出现表征坍缩，但它们的表现始终不如标准 MLM。我们发现，目标大小而非目标异质性会增加预测误差，然而减小目标大小并不能恢复下游性能。这表明，仅靠稳定的潜在预测不足以实现有竞争力的 EHR 表征学习，并凸显了为 EHR 定义具有临床意义的潜在目标的挑战。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.29528 [cs.LG] |
| （或 arXiv:2610.29528v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.29528 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Ashvin Gupta [查看邮箱]
[v1]
2026年10月21日星期三 10:18:40 UTC（989 KB）
来源：arXiv cs.AI · arxiv.org