arXiv cs.CY· Miguel Fernandez-de-Retana, Unai Zulaika, Ruben Sanchez-Corcuera, Aritz Bilbao-Jayo, Aitor Almeida·· 12 小时前AI 评分40
开源语言模型能通过西班牙MIR住院医师考试吗？8-27B模型的不确定性、推理与图像使用研究
Would an LLM Match into a Residency? Uncertainty, Reasoning and Image Use of Open Language Models on the Spanish MIR Examination
AI 导读
研究用西班牙MIR住院医师考试规则评测4个8-27B开源模型共1552道题，三个较大模型若全部作答可排进约前600至3000名，仍有41-43个专科可选。弃答从不划算，因为即使最不自信的答案正确率也高于25%的盈亏平衡点。医学微调以准确率下降为代价降低过度自信，却未改善置信度区分对错的能力；13-38%的正确答案以临床不成立的理据排除干扰项，移除或替换所给图像后准确率不变。
正文 · AI 翻译
摘要：医学考试上的准确率常被用作语言模型临床应用的证据，但一个打算在自有硬件上运行开源模型的医疗系统需要了解的远不止这些：模型是否能识别出自己可能出错，医学微调是否提升了这一能力，其正确答案是否建立在可靠的临床推理之上，或者它是否真的使用了所给的图像。我们针对四个参数量在 80 亿至 270 亿之间的开源模型，在西班牙 MIR 住院医师考试上考察了这些问题，按考试自身规则对来自八届考试的 1,552 道题进行评分。若回答所有题目，三个较大的模型将排在大约第 600 至 3,000 名考生之间，仍有 41 至 43 个专科可供选择。然而，弃答从不划算，因为即便是它们最没把握的答案，正确率也高于 25% 的盈亏平衡点。医学微调以准确率为代价降低了过度自信，却未能改善置信度区分正确与错误答案的能力。此外，13% 至 38% 的正确答案以临床上不成立的理由排除了干扰项，而置信度并未反映这一点；移除或替换所提供的上下文图像后，准确率保持不变。
| 评论： | 13 页，8 幅图 |
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI）；计算机与社会（cs.CY）；机器学习（cs.LG） |
| MSC 分类号： | 68T50（主）68T07、68T37、92C50（次） |
| ACM 分类号： | I.2.7；I.2.1；J.3 |
| 引用为： | arXiv:2610.31586 [cs.CL] |
| （或 arXiv:2610.31586v1 [cs.CL] 为本版本） | |
| https://doi.org/10.48550/arXiv.2610.31586 由 DataCite 颁发 arXiv DOI（待注册） |
提交历史
发件人：Miguel Fernandez-De-Retana [查看邮箱]
[v1]
2026 年 10 月 22 日星期四 17:23:11 UTC（413 KB）
来源：arXiv cs.CY · arxiv.org