arXiv cs.AI· Andre R Goncalves, Vincent Liu, Priyadip Ray·· 12 小时前AI 评分34
EHRAdapt：用语义先验将预训练语言模型适配到电子健康记录，提升罕见临床事件预测
EHRAdapt: Adapting Pretrained Language Models to Electronic Health Records with Semantic Priors for Rare Clinical Events
AI 导读
EHRAdapt 是一种适配器，可将电子健康记录的（时间、模态、编码）元组直接映射进冻结语言模型的嵌入空间，仅训练 0.1–0.6% 的参数。研究在约 400 万患者记录上对 OLMo2 1B、Llama3.2 1B 和 OLMo2 7B 三个冻结骨干做继续预训练，完整适配器在每个骨干的留出下一事件预测上均优于所有消融版本。
正文 · AI 翻译
摘要：电子健康记录（EHR）将临床病史编码为（时间、模态、代码）元组，而预训练语言模型期望的是文本 token。将元组序列化为文本会膨胀序列长度，并重复编码相同的结构。我们提出 EHRAdapt，一种将元组直接映射到冻结语言模型嵌入空间的适配器。模态和时间间隔通过学习到的嵌入和注意力偏置进入，事件代码则获得专用向量。学习这些向量颇具挑战，因为临床词汇呈长尾分布，罕见事件观测极少。因此，EHRAdapt 将每个事件向量表示为语义先验与证据残差之和。先验是事件临床描述的、经本体训练的冻结生物医学嵌入，由共享的学习投影映射到输入空间，因此即使观测稀少也能提供临床含义。残差是学习到的低秩、事件特定修正，随着证据积累对其精炼。我们在约 400 万患者的记录上，以三个冻结 LLM 骨干（OLMo2 1B、Llama3.2 1B 和 OLMo2 7B）进行持续预训练，仅训练适配器（占全部参数的 0.1--0.6%）。完整适配器在每个骨干上的留出下一事件预测中均优于所有消融。移除语义通路对罕见事件的损害最大，超过对最频繁事件的十倍以上，而移除残差会损害整体预测，但对最罕见事件反而有所改善。在需上报传染病和综合征分类上，EHRAdapt 优于基于文本的 LLM 和基于计数的基线，以及通过下一事件预测适配到相同记录的相同 LLM，且两条通路均改善罕见病判别。因此，两条通路发挥互补作用，只有按事件频率细分结果时才可见。
| 主题： | 人工智能（cs.AI） |
| 引用为： | arXiv:2609.34007 [cs.AI] |
| （或 arXiv:2609.34007v2 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2609.34007 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Andre Goncalves [查看邮件]
[v1]
2026年9月27日周日 23:07:08 UTC（297 KB）
[v2]
2026年10月20日周二 19:02:37 UTC（300 KB）
来源：arXiv cs.AI · arxiv.org