arXiv cs.AI· Oscar Freyer, Daniel Glauert, Moritz Hofmann, Max Ostermann, Stephen Gilbert, Jakob Nikolas Kather·· 13 小时前AI 评分31
医学多选题基准测试：13 个决策模型对比 15 种生成式 LLM 配置
Benchmarking decision models against generative large language models on medical multiple-choice questions
AI 导读
研究在 1273 道四选项 MedQA 文本题上对比 13 个决策模型与 15 种生成式 LLM 配置，决策模型准确率 67.71%-89.08%，生成式配置为 78.32%-96.86%。
正文 · AI 翻译
摘要：医疗工作流程通常需要在预定义选项中进行选择。我们在纯文本条件下，使用 1,273 道四选项 MedQA 问题，比较了 13 个决策模型与 15 种生成式大语言模型配置（包括不同的推理设置）。决策模型的准确率范围为 67.71% 至 89.08%，生成式配置的准确率范围为 78.32% 至 96.86%。在测试的配置中，Mercury Decide 的平均最终尝试成本最低（每 1,000 道题 0.0069 美元），而 Clef Omni 的中位请求时长最短（0.291 秒）。决策模型的概率能够区分正确与错误答案，但在被赋予至少 0.90 概率的答案中，错误率范围为 1.71% 至 12.77%。三次运行之间的答案一致率范围为 92.30% 至 100%，而概率可重复性则存在差异。决策模型在提供资源方面优势的同时，峰值准确率较低；为医疗工作流程选择模型时，需要综合考虑概率质量、可重复性、准确率以及检测和纠正错误所需的资源。
| 学科： | 计算与语言 (cs.CL)；人工智能 (cs.AI) |
| 引用为： | arXiv:2610.38448 [cs.CL] |
| （或 arXiv:2610.38448v1 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.38448 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Oscar Freyer [查看电子邮件]
[v1]
2026年10月28日星期三 08:25:35 UTC（4,965 KB）
来源：arXiv cs.AI · arxiv.org