研究评测14个模型在医疗基准上的推理与污染

Navapat Nananukul 与 Mayank Kejriwal 提交的一项研究，用 MedQA-USMLE、MedMCQA、PubMedQA 和 MedBullets 四个医疗基准的 3076 道题，评测了六家厂商共 14 个模型，每家取一大一小两个模型，另加两个开放权重模型。 评测设三种条件：标准多项选择、隐去选项后回答同一批题、仅凭选项还原被隐藏的题目。研究据此考察医疗推理表现、基准污染与模型规模之间的关系。

AI 根据报道生成 · 48 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。