arXiv cs.AI· S. M. Mahbub Uddin Ahmed·· 3 天前AI 评分22
Clef-Flash 决策基础模型如何实现 24 类疾病分类与症状级反事实解释
Toward System One Clinical Intelligence: Parameter-Efficient Fine-Tuning and Counterfactual Explainability of Decision Foundation Models
AI 导读
基于 Qwen3.5 的 90 亿参数决策模型 Clef-Flash 经 4-bit QLoRA 微调后，在 Symptom2Disease 基准的 24 类疾病分类上达到 95.42% 诊断准确率和 0.9551 的 macro F1，超过 ClinicalBERT 的 90.90% 及零样本基线 61.67% 和 65.00%。
正文 · AI 翻译
摘要：基于患者报告症状的自动化疾病分类，需要在轻量级判别模型的速度与自回归大语言模型（LLM）的上下文理解能力和延迟成本之间取得平衡。决策基础模型提供了一种替代方案，它将表示直接映射到候选类别，而无需生成自由形式的文本。我们采用 Clef-Flash——一个基于 Qwen3.5 主干构建的 90 亿参数决策模型——在 Symptom2Disease 基准上进行 24 类疾病分类。使用 4 比特量化的低秩适配（QLoRA）、差异化学习率以及 960 个训练样本和 240 个测试样本的分层划分，该模型达到了 95.42% 的诊断准确率和 0.9551 的宏 F1 分数。这优于所报告的零样本基线：远程 API 为 61.67%，本地未适配初始化模型为 65.00%，并且优于 ClinicalBERT 基线（90.90%）。通过在单次前向传播中评估候选 logits 而无需自回归解码，在单块 GPU 上每条记录的推理时间不到 80 毫秒，相比生成式 LLM 基线报告了 31 倍的加速。为了考察症状级别的证据，我们引入了留一症状法（LOSO）反事实扰动框架。在一个银屑病示例中，移除定义疾病的症状子句使预测类别置信度从 100.00% 降至 0.12%，并将预测转变为脓疱疮，置信度为 99.59%；而移除次要全身症状对置信度的影响小于 0.01%。这些发现表明，基于决策的架构能够将大型基础模型的语言能力与低延迟推理和症状级可解释性相结合，用于临床分诊。
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2610.15029 [cs.CL] |
| （或 arXiv:2610.15029v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.15029 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：S. M. Mahbub Uddin Ahmed [查看电子邮件]
[v1]
2026年10月10日星期六 16:13:49 UTC（176 KB）
来源：arXiv cs.AI · arxiv.org