arXiv cs.CL· Navapat Nananukul, Mayank Kejriwal·· 10 小时前AI 评分44
从模型规模看医疗推理：语言模型的基准污染与尺寸差异评估
From Small to Large: Assessing Medical Reasoning, Benchmark Contamination, and Model Size in Language Models
AI 导读
一项研究用 MedQA-USMLE、MedMCQA、PubMedQA 和 MedBullets 四个医疗基准的 3076 道题，评测了六家厂商共 14 个模型。
正文 · AI 翻译
摘要：大型语言模型（LLM）目前在医学考试题目上的作答已达到或超过专家水平，但这些分数是否反映临床能力尚不清楚，还是受到所提问题形式（例如多项选择与开放式问题）、对基准测试的先前接触以及问题难度的影响。这些基准测试也是公开的，并在网上被广泛使用，这可能导致 LLM 记忆。模型可能在它们以前见过的问题上表现更好。同样不清楚的是，那些更易于在符合 HIPAA 的医院环境中本地部署的较小模型，是否已达到人类表现。在本研究中，我们评估了来自六家领先提供商的十四个当前模型（每家提供商一个较小模型和一个较大模型），外加两个开放权重模型，在来自四个医学基准测试（MedQA-USMLE、MedMCQA、PubMedQA 和 MedBullets）的 3,076 道问题上，采用标准多项选择、相同问题但隐去答案选项，以及仅根据选项重建隐藏问题三种设置。在标准多项选择设置中，最强的模型在 MedQA-USMLE 和 PubMedQA 上超过了人类专家基线，但较小模型落后其较大模型 8.7 个百分点，且六家中只有两家在执照考试中通过人类专家门槛。然而，隐去答案选项后，每个模型都举步维艰：平均准确率从 82.3% 降至 50.9%，而两个最大降幅属于医学专业模型。在记忆方面，最强的模型仅凭答案选项就能重建四分之一的问题，但在它们无法重建的问题上准确率保持不变。我们进一步权衡准确率与推理成本，并测试集成多个模型是否能改善医学问答。
| 学科： | 人工智能（cs.AI）；计算与语言（cs.CL） |
| 引用为： | arXiv:2611.00460 [cs.AI] |
| （或 arXiv:2611.00460v1 [cs.AI] 为此版本） | |
| https://doi.org/10.48550/arXiv.2611.00460 由 DataCite 颁发 arXiv DOI（待注册） |
提交历史
来自：Navapat Nananukul [查看电子邮件]
[v1]
2026年10月30日星期五 23:23:42 UTC（396 KB）
来源：arXiv cs.CL · arxiv.org