临床 LLM 的安全性与准确率在不同部署条件下出现分化

作者：Sebastian Wind、Tri-Thien Nguyen、Jeta Sopa、Mahshad Lotfinia、Sebastian Bickelhaup、Michael Uder、Harald Köstler、Gerhard Wellein、Sven Nebelung、Daniel Truhn、Andreas Maier、Soroosh Tayebi Arasteh

查看 PDF HTML（实验性）

摘要：临床大语言模型（LLM）通常通过增大模型规模、上下文长度、检索复杂度或推理时计算量来扩展，其假设是更高的准确率意味着更安全的行为。在医学领域，少数自信或与证据相矛盾的错误可能比平均性能更具影响，因此这一假设可能并不完整。我们提出了以安全为中心的扩展评估（SaFE-Scale），并在 RadSaFE-200 上实例化，这是一个包含 200 道题的基于文本的放射学多项选择基准，由临床医生定义了干净证据、冲突证据，以及针对高风险错误、不安全答案和证据矛盾的选项级标签。我们评估了 34 个本地 LLM，涵盖六种部署条件，包括闭卷、基于证据、标准与智能体检索增强生成（RAG）以及最大上下文提示。由临床医生撰写的干净证据作为上限，产生了最强的联合增益，将平均准确率从 73.5% 提升至 94.1%，并将高风险错误从 12.0% 降至 2.6%，危险过度自信从 8.0% 降至 1.6%。标准与智能体 RAG、最大上下文提示以及推理时计算改善了部分指标，但未能复现这一安全特征。在临床上，后果性错误集中在少数问题上，方差分解显示，在每项安全指标上，部署条件的影响都高于模型家族。在此评估中，临床 LLM 的安全性并未随准确率扩展而同步提升，而是作为部署层面的属性出现。

评论：	已被 npj Digital Medicine 接收
主题：	计算与语言（cs.CL）；人工智能（cs.AI）；机器学习（cs.LG）
引用为：	arXiv:2605.04039 [cs.CL]
	（或 arXiv:2605.04039v2 [cs.CL] 用于此版本）
	https://doi.org/10.48550/arXiv.2605.04039 由 DataCite 颁发的 arXiv DOI
相关 DOI：	https://doi.org/10.1038/s41746-026-03455-y 链接到相关资源的 DOI

提交历史

来自：Soroosh Tayebi Arasteh [查看邮箱]
[v1] 2026年5月5日星期二 17:57:19 UTC（567 KB）
[v2] 2026年11月5日星期四 19:25:12 UTC（499 KB）