arXiv cs.CY· Daniel S. Epstein·· 11 小时前AI 评分42
AusClinBench：面向澳大利亚现行临床政策的大语言模型确定性评分基准
AusClinBench: a deterministically scored benchmark of large language models against current Australian clinical policy
AI 导读
研究者构建了 AusClinBench 基准，从澳大利亚指南与目录中编写 142 道题，覆盖 PBS 授权、MBS 计费、Ahpra 义务、分诊红旗、免疫与筛查五个领域，每题仅一个可验证答案并按精确匹配评分。
正文 · AI 翻译
摘要：AI 模型已经在为临床决策提供信息，并在澳大利亚的临床软件中起草病历记录，而执业者通常不会被告知使用的是哪个模型。现有的医学基准是为其他司法管辖区编写的。我们根据澳大利亚的指南和附表编写了 142 个问题，涵盖五个领域（PBS 授权、MBS 计费、Ahpra 义务、分诊危险信号、免疫接种和筛查），每个问题都有一个可验证的答案，按精确匹配评分。每个问题都在盲测和提供相关条款两种条件下运行，从而将无法回忆现行规则与无法应用规则区分开来。我们在 2026 年 7 月至 10 月期间测试了 28 个模型。盲测准确率从 51.5% 到 92.7% 不等，得分最高的模型之间无法区分。在 791 个失败的模型-问题配对中，684 个（86%）在盲测时答错，而在提供条款时答对。自信错误率从 6.6% 到 47.8% 不等。在指南未给出指示的五个免疫接种问题上，82% 的答案给出了指示。在 20 个原住民和托雷斯海峡岛民健康问题上，模型总体表现并不更差，但在少数问题上，错误答案给出的是普通人群的规则、较旧的规则或其他国家的规则。我们建议将模型视为临床产品的组成部分，并在产品评估之外，对本地规则设定最低标准。答案密钥来自一位全科医生，尚未经过独立审查。该基准衡量的是基础模型，而非临床产品，并且不授权任何模型用于临床。
| 评论： | 19 页，3 幅图。技术报告，基准版本 1.4.1。未经同行评审。答案密钥尚未经过独立审查。结果和方法：此 https URL |
| 主题： | 计算机与社会（cs.CY）；计算与语言（cs.CL） |
| ACM 分类： | I.2.7；J.3 |
| 引用为： | arXiv:2610.31993 [cs.CY] |
| （或 arXiv:2610.31993v1 [cs.CY] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.31993 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Daniel Epstein [查看电子邮件]
[v1]
2026 年 10 月 22 日星期四 23:25:04 UTC（510 KB）
来源：arXiv cs.CY · arxiv.org