arXiv cs.CL· Hamza Shafiq, Jialu Tang, Ting Dang, Jun Hu, Aaqib Saeed·· 6 天前AI 评分22
PRISM：融合异构证据的检索增强多模态语言模型用于临床预后
Retrieval-Augmented Multimodal Language Model with Heterogeneous Evidence Integration for Clinical Prognosis
AI 导读
研究者提出 PRISM（Population-Retrieved Inference for Structured Multimodal Prognosis），一种融合逐特征数值 token 化、纵向 ECG 近因加权聚合与双模态人群记忆库的多模态语言模型，检索在表示空间进行，不将单条记录写入提示词。
正文 · AI 翻译
摘要：临床预后需要整合结构化测量、生理波形、纵向病史和人群背景。我们提出 PRISM（Population-Retrieved Inference for Structured Multimodal Prognosis），一种多模态语言模型，它结合了逐特征数值分词、纵向心电图的近期加权聚合，以及双模态人群记忆库。检索在表示空间中进行：模型接收相似训练队列就诊记录的均值池化嵌入，而没有任何单条检索记录进入提示。在包含 1,443 项任务的 MDS-ED 基准上，PRISM 在诊断、恶化、ICU 入住和死亡率方面分别达到 86.2%、93.1%、91.8% 和 92.8% 的 AUROC。这些结果使用了已报告基线无法获得的 96 小时到达前窗口。仅使用基准窗口输入时，PRISM 达到 0.8895 AUROC，而 UniPACT 为 0.8937，MDS-ED 为 0.8889。使用相同五个证据流和冻结编码器的匹配输入紧凑融合模型达到 0.7652 AUROC，而 PRISM 为 0.9092。将数值 EHR 编码替换为文本序列化会使 AUROC 降低 3.66 个百分点；移除到达前病史会使其降低 1.97 个百分点；将检索置零会使其降低 0.99 个百分点。真实检索比随机邻居检索高出 0.97 个宏平均百分点，尽管配对任务级符号检验未能确立一致优势（p=0.067）。在外部 MC-MED 队列上，监督微调达到 0.8611 AUROC，而本地训练的梯度提升为 0.8227，仅源域 PRISM 为 0.7841。这些结果支持结构感知的多模态集成和监督式外部适应。
| 学科： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.13510 [cs.AI] |
| （或 arXiv:2610.13510v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.13510 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Hamza Shafiq [查看电子邮件]
[v1]
2026年10月9日星期五 12:35:22 UTC（1,632 KB）
来源：arXiv cs.CL · arxiv.org