arXiv cs.CL· Mengxian He, Ziyue Gao, Chun Li, Shunyi Zhang, Hao Wei, Minqing Zhang, Wu Yuan·· 14 小时前AI 评分31
JEV 能否支持临床试验标准评估？与 Qwen Flash 的对比研究
Can JEV Support Clinical Trial Criteria Assessment?
AI 导读
研究对比了非生成式决策模型 JEV 与 schema 约束的 Qwen Flash 在临床试验预筛中的表现，基于 TrialGPT 及 MIMIC-III/IV 的 2,048 对测试样本。
正文 · AI 翻译
摘要：临床试验预筛需要区分患者记录中未满足的条件与证据不足的情况。给定患者记录、标准问题和预定义答案选项，我们回顾性地比较了 JEV（一种返回原生选项概率的非生成式决策模型）与受模式约束的 Qwen Flash，在来自 TrialGPT 的 2,048 个测试患者-条件对以及源自 MIMIC-III 和 MIMIC-IV 的问答数据集上进行评估，所有评估均在严格的零数据保留（ZDR）政策下进行，以确保临床数据隐私。两个模型均以单独或共享同一患者上下文的批量方式评估条件，性能以参考标签为基准进行衡量。在批量模式下，JEV 和 Qwen 在 TrialGPT（0.652 对 0.660）和 MIMIC-IV（0.807 对 0.814）上取得了相似的宏 F1 分数，而 JEV 在 MIMIC-III 上显著优于 Qwen（0.768 对 0.534；$\Delta$ = +0.234，95% CI：0.187-0.281）。这一优势主要反映在标记为信息不足的条件的召回率更高（56.3% 对 9.9%）。在所有三个数据集上，JEV 的观测中位任务延迟也更低（1.18-1.40 对 2.80-8.90 秒），每个条件的估计成本低 53%-74%。这些发现将 JEV 定位为初始评估组件，提供标准级判断并标记潜在的信息缺口以供审查。JEV 在解释临床证据方面观察到的错误凸显了在其输出用于资格决策之前，需要对照患者记录进行验证。
| 主题： | 机器学习（cs.LG）；人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2610.35721 [cs.LG] |
| （或 arXiv:2610.35721v1 [cs.LG] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.35721 由 DataCite 颁发的 arXiv DOI（待注册） |
提交历史
来自：Mengxian He [查看电子邮件]
[v1]
2026年10月26日星期一 16:41:12 UTC（239 KB）
来源：arXiv cs.CL · arxiv.org