跳到正文
arXiv cs.AI· Zhiyu Liu, Xinyu Yang·· 10 小时前AI 评分38

GPT-6 Astra 仅凭查询审计黑盒临床预测模型:植入缺陷盲测中检出 96%

Auditing black-box clinical prediction models with a large language model through queries alone: a blinded test with planted flaws

AI 导读

GPT-6 Astra 仅通过查询接口盲测审计 32 个临床预测模型,在 72 次运行中检出 69 次植入缺陷(96%,95% CI 80%-99%),其代理模型以中位 128 项、平均 R² 0.976 复现被审计模型的 log-odds。

正文 · AI 翻译

查看 PDF HTML(实验性)

摘要:大型语言模型(LLM)被用于解释临床预测模型,其承诺是它们能说出模型计算了什么、发现其缺陷,甚至从中揭示新知识。我们在答案可核查的情况下检验了这三项承诺。基于国际卒中试验(International Stroke Trial),我们针对先前随机化患者的两个结局训练了四种模型(逻辑回归、可解释提升机、梯度提升树、神经网络),在 24 份副本中各植入一个缺陷(一个被低估的亚组、一个方向颠倒的风险因素或一个不合理的步骤),并将它们与 8 个干净模型混合。GPT-6 Astra 通过一个仅返回模型预测结果的工具,在盲测条件下对每个模型各审计三次;评判规则在任何运行之前就已确定,并由程序执行。其代理模型(中位数为 128 项)以平均 $R^2$ 为 0.976 复现了被审计模型的对数几率(由分析师拟合的 42 项加性代理模型为 0.959)。它在 72 次运行中的 69 次发现了植入的缺陷(96%;95% CI 80% 至 99%);为此目的编写的脚本则找出了全部 24 个。它还报告了更多问题:1,089 份可核查报告中有 60% 未通过针对模型平均行为的预设检查;事后分析显示,其中大多数是真实但幅度较小的步骤,另有 15% 的可核查报告在模型中并未找到。在它从干净模型中读出的 601 个意外关系中,有 11% 在后来随机化的患者中成立(随机配对为 6%;回归扫描给出的最强候选较短列表为 28%);在对训练数据进行检查后,这一比例为 33% 对 30%。仅凭查询访问,LLM 就能忠实描述一个黑盒模型,并发现几乎每一个植入的缺陷,专门编写的脚本也能做到这一点;但它报告的问题必须在模型上核查,其发现必须在数据上核查。
评论: 15 页,2 幅图,6 张表。模型、提示词、带工具调用的回复及代码:此 https URL
主题: 机器学习(cs.LG);人工智能(cs.AI)
引用为: arXiv:2611.24877 [cs.LG]
  (或 arXiv:2611.24877v1 [cs.LG] 用于此版本)
  https://doi.org/10.48550/arXiv.2611.24877

由 DataCite 颁发的 arXiv DOI(待注册)

提交历史

来自:Zhiyu Liu [查看邮箱]
[v1] 2026 年 11 月 18 日星期三 18:24:54 UTC(40 KB)

来源:arXiv cs.AI · arxiv.org