arXiv cs.CL· Jifan Gao, Junjie Hu, John Caskey, Madeline Oguss, Simona Cristea, Anoop Mayampurath, Matthew Churpek, Majid Afshar, Guanhua Chen·· 10 小时前AI 评分27
无需概念标注的临床文本预测可解释框架：基于Token-Concept注意力
A Concept-Based Interpretable Framework for Clinical Text-based Prediction via Token-Concept Attention without Concept Supervision
AI 导读
研究提出一种无需概念监督的临床文本预测可解释框架，通过定制化交叉注意力瓶颈，让预训练语言模型将文本token与医学概念描述对齐，生成概念相关性分数并汇入线性预测层。在胸部创伤严重程度分层（私有数据集）和MIMIC-III院内死亡预测两项任务上，该框架AUROC与黑盒模型差距在0.02以内，并支持队列级与患者级概念归因解释。
正文 · AI 翻译
摘要：目的：基于概念的解释已成为一种有前景的方法，可利用人类可理解的高层概念来解释黑盒模型。然而，现有大多数方法需要标注的概念标签来训练模型识别输入中的概念，而在临床文本中获取此类标注往往成本高昂。本研究旨在使语言模型在临床预测任务中无需概念监督即可实现基于概念的解释。方法：我们提出了一种新颖的框架，通过定制的交叉注意力瓶颈，在无需概念监督的情况下实现基于概念的解释。临床文本和医学概念的文本描述首先由预训练语言模型进行分词和嵌入。随后，交叉注意力模块估计每个文本 token 上每个概念的存在情况，生成概念相关性分数，以捕捉概念在整个记录中的参与方式。这些分数被池化并用于线性预测层，以可解释的方式对临床结果进行建模。结果：我们在两项任务上将所提出框架的性能与黑盒模型进行了比较：使用私有数据集进行胸部创伤严重程度分层，以及使用公开可用的 MIMIC-III 数据集进行院内死亡率预测任务。所提出框架的 AUROC 值与相应黑盒模型的差距在 0.02 以内。该框架还支持队列级和患者级解释，捕捉整个队列中的整体概念重要性以及患者特定的概念贡献。结论：我们提出的框架无需真实概念存在标签即可实现基于概念的解释。它在临床预测任务中保持强劲性能的同时，提高了临床文本预测的透明度。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2611.13564 [cs.CL] |
| （或 arXiv:2611.13564v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.13564 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Jifan Gao [查看电子邮件]
[v1]
2026年11月10日星期二 04:31:25 UTC（1,211 KB）
来源：arXiv cs.CL · arxiv.org