arXiv cs.AI· Alicem Koyun·· 11 小时前AI 评分34
临床试验模拟器是否真的"懂药"？基于 7,207 项注册试验的干预盲法有效性测试
Does Your Trial Simulator Know What the Drug Does? An Intervention-Blind Test of Interventional Validity on 7,207 Registered Trials
AI 导读
研究者用 7,207 项试验构建 9,996 组组内对照，提出"干预技能"指标：以隐去干预标识的同模型为盲法参照，衡量模拟器准确率有多少依赖"知道用了什么药"。
正文 · AI 翻译
摘要：患者世界模型越来越多地被提出作为临床试验的模拟器，近期的综述将其能力按从时间预测到反事实推演的阶梯进行排序。目前，该阶梯上的位置是通过阅读论文而非通过测量来确定的。我们将反事实这一层级转化为可测量的量。基于 30,119 项已完成且结果发布在 此 http URL 上的 2/3 期试验，我们从 7,207 项试验中构建了 9,996 个经审核的试验内对比，并评估模拟器的准确度在多大程度上依赖于知道所测试的是哪种干预。该工具是一个干预盲参考：同一模型、在相同试验上训练，但所有可识别干预的字段均被隐去。干预技能是完整模型相对于该参考所消除的误差。在时间划分上（来自 655 项试验的 878 个测试对比），一个基于注册数据训练的梯度提升模拟器消除了平凡基线五分之一的误差，但其干预技能为 -0.12（95% CI -0.21 至 -0.05）：隐去干预反而使其更好，且没有任何替代特征化、分层、时间切分或同分子检索能给出高于零的区间。一个仅阅读注册方案的前沿语言模型的干预技能为 0.20 [0.08, 0.31]；更小和开放权重的模型处于检测极限。扰动测试表明，大模型确实将干预作为干预来使用：交换试验组会使其预测符号在 86% 的对比中反转。盲参考本身并非药物盲（语言模型在 45% 的情况下能从盲提示中恢复出被隐去的药物类别），因此干预技能是一个保守下界。一个可靠性层表明，按预测误差排序会降低误差，但校准的误差控制在时间偏移下无法迁移。基准、代码、提示词和每次调用的模型输出均已发布。
| 评论： | 发表于 NeurIPS 2026 高风险健康世界模型研讨会的口头报告。31 页，5 幅图。代码和数据：此 https URL |
| 主题： | 应用（stat.AP）；人工智能（cs.AI）；机器学习（cs.LG） |
| 引用为： | arXiv:2611.05907 [stat.AP] |
| （或 arXiv:2611.05907v1 [stat.AP] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2611.05907 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Alicem Koyun [查看电子邮件]
[v1]
2026 年 11 月 4 日星期三 03:59:15 UTC（263 KB）
来源：arXiv cs.AI · arxiv.org