arXiv cs.CL· Ryosuke Suzuki·· 2 天前AI 评分31
用大语言模型让医疗器械文档评估的每个阶段都实现确定性
Making every stage of medical device document assessment with large language models deterministic
AI 导读
研究测试了 14 个商用大语言模型部署（来自 3 家提供商的 7 个模型、6 种调用路径），在各自接受的确定性采样设置下重复同一请求，每个部署都至少有一次返回不同评估结果，其中 12 个出现标签变化。
正文 · AI 翻译
摘要：为证明医疗器械符合法规，专家需判断文档和记录是否满足每项要求，并记录判断结果供他人核验。对于专家定义的每个评估项，大语言模型可以准备一份初步评估：诸如“满足”或“不满足”的标签、理由以及引用的证据。我们向十四种此类模型的商业部署（来自三家供应商的七个模型，通过六条途径）反复发送同一请求，并采用各自接受的确定性采样设置；每种部署都至少对一项请求返回了不同的评估结果，其中十二种部署的标签发生了变化。在接口允许的情况下减少推理并未减少这种变异，而检索段落的提示词仅对最小的模型消除了变异。同一个开放权重模型是否可复现，仅取决于其服务方式。我们构建了一条在每个阶段都力求确定性的流水线——文本提取与光学字符识别（OCR）、分块、嵌入、索引、检索和推理——在血糖仪和输液泵文档上，跨重复运行、中断、编辑、同一图形处理器（GPU）型号的不同机器以及不同日期，每个阶段都返回了字节完全相同的输出。当OCR、嵌入和近似检索自身的服务未被设为不变时，它们会产生变异，且输出会随GPU型号和推理引擎的调度设置而变化，因此这些设置应纳入记录配置。端到端确定性是可以实现的，并为审计和变更控制提供了可测试的基础。
| 评论： | 30页，3图，3表；包含补充表S1-S15和两份补充说明 |
| 主题： | 计算与语言（cs.CL）；信息检索（cs.IR） |
| 引用为： | arXiv:2610.21300 [cs.CL] |
| （或 arXiv:2610.21300v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.21300 arXiv 通过 DataCite 颁发的 DOI（待注册） |
提交历史
来自：Ryosuke Suzuki [查看电子邮件]
[v1]
2026年10月15日星期四 05:45:20 UTC（125 KB）
来源：arXiv cs.CL · arxiv.org