arXiv cs.AI· Alfredo Madrid-Garc\'ia, Diego Benavent, Fabian Lechner, Phillip Kremer, Johannes Knitza, Beatriz Merino-Barbancho·· 13 小时前AI 评分31
Decision 与 System One 模型在风湿病学考试题和诊断案例中的准确性与校准评估
Decision and System One models in rheumatology: accuracy and calibration on specialty-training examination questions and diagnostic case vignettes
AI 导读
研究对比了 Jev 1.13、Clef、Microsoft-Decision-1、Laya 等 System One 模型与 GPT-6 Sol、GPT-6 Luna 在风湿病学考试题和诊断案例上的表现。
正文 · AI 翻译
摘要：目的：评估 Decision 与 System One 模型在风湿病学考试题和诊断病例题上的准确性与校准度。方法：分析两个基准：来自西班牙专科培训考试的风湿病学题目 172 道（扩展 RheumaMIR 数据集），含西班牙语和英语版本；以及来自 RheumBench 的 70 道英语诊断病例题，每道含 5-18 个候选诊断，其中 52 道包含参考诊断。将四个 System One 模型（Jev 1.13、Clef、Microsoft-Decision-1、Laya）和 GPT-6 Luna（OpenAI Decisions API）与 GPT-6 Sol 及两个本地生成模型进行比较。主要结局为准确性；次要结局包括校准度、区分度、概率 >=0.90 的答案的准确性以及语言差异。结果：在 RheumaMIR 中，Jev 的准确率在西班牙语中为 93.0%，在英语中为 91.9%，低于 GPT-6 Sol（99.4%；Holm 校正 P<=0.005）；GPT-6 Luna 达到 97.7%，Clef 为 91.9-93.0%，Microsoft-Decision-1 为 86.0-87.8%，未检测到语言差异。Jev 概率 >=0.90 的答案（占答案的 76-77%）正确率为 98.5%。在 RheumBench 中，准确率较低：GPT-6 Sol 76.9%，GPT-6 Luna 63.5%，Clef 59.6%，Jev 50.0%，Microsoft-Decision-1 40.4%（每个 System One 模型均低于 GPT-6 Sol，Holm 校正 P<=0.045；随机水平为 9.6%）。Jev 变得过度自信（平均概率 0.659；过度/不足自信指数 +0.159），其概率 >=0.90 的答案（占病例的 25%）正确率为 84.6%，而 GPT-6 Luna 为 95.5%（占 42%）。Laya 在两个基准中的表现均接近随机水平。结论：表现最佳的 System One 模型在考试题上准确率很高，但在诊断病例题上准确率较低，仍低于 GPT-6 Sol。Jev 的高置信度预测在病例题上可靠性较低，凸显了针对特定任务进行评估和校准的必要性。
| 评论： | 28 页，2 幅图，2 张表；包含补充材料（8 张表，1 幅图） |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| ACM 分类： | J.3；I.2.7 |
| 引用为： | arXiv:2610.40318 [cs.CL] |
| （或 arXiv:2610.40318v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.40318 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Alfredo Madrid Garcia [查看电子邮件]
[v1]
2026 年 10 月 29 日星期四 15:53:05 UTC（1,129 KB）
来源：arXiv cs.AI · arxiv.org