arXiv cs.AI· Alfredo Madrid-Garc\'ia, Beatriz Merino-Barbancho·· 3 天前AI 评分37
Jev 1.13 医学基准评测：与 GPT-6 Sol 对比准确率与校准
Jev in Medicine: A Benchmark Evaluation
AI 导读
Jev 1.13 在四项医学基准上与 GPT-6 Sol（medium 推理）对比评测：PubMedQA 准确率 78.4% 对 78.2%，MetaMedQA 74.8% 对 82.7%，DiagnosisArena-MCQ 59.8% 对 82.4%，NEJM 病例 61.8% 对 82.4%。
正文 · AI 翻译
摘要：Jev 是一个非生成式的 System One 模型，它为预定义的答案选项分配概率，无法回答这些选项之外的问题。其在医学问答和基于病例的诊断推理任务上的准确性和校准情况尚不清楚。我们在四个医学基准上评估了 Jev 1.13：MetaMedQA、PubMedQA、DiagnosisArena-MCQ 和 NEJM Case Challenges。GPT-6 Sol（中等推理）及无推理版本作为参照。主要结局是 top-1 准确率；关键次要结局是校准、选择性预测和识别无法回答的问题。全部 8,469 次请求均返回了有效答案。Jev 的准确率在 PubMedQA 上与中等推理的 GPT-6 Sol 相似（78.4% vs 78.2%；），在 MetaMedQA 上较低（74.8% vs 82.7%），在 DiagnosisArena-MCQ 上低得多（59.8% vs 82.4%；），在 NEJM 病例上也是如此（61.8% vs 82.4%）。在 MetaMedQA 上，Jev 的概率校准最佳（期望校准误差 0.063 vs 0.146），其概率至少为 0.9 的答案（占问题的 52.9%）准确率为 93.4%，但 GPT-6 Sol 在接受相似比例问题时同样准确。在 DiagnosisArena-MCQ 上，Jev 的概率区分能力较差（AUROC 0.645 vs 0.768）。在正确答案为“我不知道或无法回答”的 162 个问题中，Jev 选择该选项的比例为 10.5%（GPT-6 Sol 为 8.6%）。中位延迟为 0.27-0.31 秒；全部 2,823 个项目花费 0.08 美元。Jev 快速且廉价，其准确率在研究摘要上与前沿 LLM 相似，但在考试题上较低，在复杂诊断病例上低得多。临床使用前需要进行任务特定的验证。
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；机器学习（cs.LG） |
| 引用为： | arXiv:2609.34024 [cs.AI] |
| （或 arXiv:2609.34024v4 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.34024 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Alfredo Madrid Garcia [查看电子邮件]
[v1]
2026年9月27日星期日 23:33:04 UTC（753 KB）
[v2]
2026年10月1日星期四 06:03:21 UTC（753 KB）
[v3]
2026年10月4日星期日 19:31:32 UTC（754 KB）
[v4]
2026年10月10日星期六 21:59:36 UTC（803 KB）
来源：arXiv cs.AI · arxiv.org