Microsoft AI 发布 SDBench 基准与 MAI-DxO 诊断系统,论文登上 Science
Microsoft AI 发布 SDBench 基准与 MAI-DxO 诊断系统,登 Science
Microsoft AI 发布顺序诊断基准 SDBench 和 AI 诊断系统 MAI-DxO,相关论文发表于 Science。在 304 个 NEJM 复杂病例上,MAI-DxO 诊断准确率为 83%,医生无参考资料时为 22%、有参考资料时为 36%;在 MIMIC-IV-ED 急诊病例上为 80%,医生为 47%。
原文给出 SDBench 与 MAI-DxO 在两组病例上的准确率和成本对比,可据此判断序贯诊断评测的设计思路。
Microsoft AI:官方博客·2026-10-23 02:01· 1 小时前精选AI 评分80
Building Medical Superintelligence
AI 导读
Microsoft AI 发布 Sequential Diagnosis Benchmark(SDBench)和 AI 诊断系统 MAI-DxO,论文发表于 Science。
推荐理由
原文给出 SDBench 基准与 MAI-DxO 的具体准确率和成本数据,并开放部分评测代码,读者可据此评估其诊断推理方法。
健康
MAI 健康团队
2026年10月22日
健康
MAI 健康团队
如果 AI 能帮助临床医生逐步完成复杂的医学诊断,并以更低的成本、更少的医学检查实现更高的准确率,会怎样?
这一未来正逐渐成为现实。在美国急诊科的常见就诊病例中,使用 MIMIC-IV-ED 的病例进行评估时,我们的 AI 诊断系统 MAI-DxO 的准确率是医生的 1.7 倍。
而在发表于The New England Journal of Medicine的医学最复杂病例中,MAI-DxO 的准确率是使用教科书和互联网的医生的两倍以上——当医生在没有这些资源的情况下进行诊断时,其准确率接近四倍。它还能以一半甚至三分之一的成本做到这一点,用更少的检查和操作得出正确诊断。
我们的研究成果今天发表在Science。
本周还发表在BMJ Digital Health and AI。上的文章介绍了我们对医疗超级智能的愿景,可阅读更多内容。
重新思考 AI 的构建与测试方式
AI 有潜力变革健康与医疗保健,相关进展正在迅速加快。当前的挑战在于构建并严格评估 AI 系统,将其临床推理能力的进步转化为有意义的影响。
今天的论文建立在早期工作之上,i提出了这一转变的两项基础:顺序诊断基准(SDBench),用于测试逐步诊断推理;以及 Microsoft AI Diagnostic Orchestrator(MAI-DxO),这是我们在该基准上表现领先的 AI 系统。
诸如美国医师执照考试(USMLE)等医学执照考试旨在评估医生的知识——而非进行临床诊断的现实情况。在这些考试中,所有信息都会预先给出,并选择一个答案;而在实践中,临床医生必须逐步构建整体情况,决定要询问什么、开具哪些检查,以及每项新发现如何改变可能的诊断。此类考试已成为评估健康 AI 性能的常见基准。
这就是我们开发 SDBench 的原因,它通过两组互补的病例评估性能:取自The New England Journal of Medicine(NEJM)病例报告的 304 个复杂病例,以及来自 MIMIC-IV-ED 的一组更典型的急诊科就诊病例。每个病例都会成为一个交互式病例,AI 模型和/或医生从有限信息开始,并选择接下来请求什么。该基准衡量诊断准确率、请求的证据和估计的检查成本——同时评估答案和所采取的路径。
我们构建了 MAI-DxO,并在 SDBench 中对其进行了测试。它并非依赖单一模型立即给出答案,而是像一组虚拟医生那样运作:每位医生提出诊断、选择有用的问题或检查,并对逐渐形成的观点提出质疑。MAI-DxO 在数轮辩论中协调这一交流,随着证据出现更新其评估,并权衡每项检查的可能价值与成本。
我们的发现:
- 在复杂的 NEJM 病例上,MAI-DxO 达到了 83% 的诊断准确率。医生在没有外部参考资料的情况下达到 22%,有参考资料时为 36%,这意味着 MAI-DxO 的准确率分别约为其 3.7 倍和 2.3 倍。
- 在来自 MIMIC-IV-ED 的更典型的急诊科病例上,MAI-DxO 达到了 80% 的准确率,而医生为 47%——高出 1.7 倍以上。
- 当更侧重成本优化时,MAI-DxO 的表现依然强劲,同时选择了更具成本效益的检查方案。在 NEJM 病例上,一种配置以不到对比系统一半的成本达到了 81% 的准确率。
- 在两个数据集上,没有其他人类或 AI 方法能比 MAI-DxO 既更准确又成本更低。
- 当我们使用包括 GPT-5.5 在内的更新模型重复评估时,这些提升依然存在——并且有所改善——且未改变编排方法,这表明该方法并不绑定于某一代模型。
我们正在开源 SDBench 用于部分 NEJM 病例——包括基准、Gatekeeper、Judge 和成本估算代码——以便研究人员能够复现评估、测试其他模型,并对这些发现提出挑战或加以扩展。
从更好的诊断到更好的照护
诊断只是照护旅程的一部分。更好的照护还需要跟上医学知识、选择正确的治疗、理解随时间发生的变化,并支持反映个人价值观和照护可及性的选择。机会在于将这些能力统一为一种当今尚未广泛可用的照护标准。在发表于 BMJ Digital Health and AI 的 The Building Blocks of Medical Superintelligence 一文中,我们探讨了 AI 需要具备什么才能支持这一更宏大的愿景——并最终超越当今最强临床团队和卫生系统的能力。
序贯诊断提供了一个早期示例:AI 医生协作、质疑假设,并随着证据出现完善其临床推理。我们的目标是构建在整个照护旅程中连接知识、情境和决策的 AI——而不仅仅是在某一项临床任务上表现出色。通过与 Mayo Clinic 的合作,我们旨在结合前沿 AI、临床专业知识和纵向多模态数据,构建能够应对真实世界照护复杂性和多样性的系统。
在真实世界中测试
基准测试固然重要,但真正的考验是在真实临床环境中的表现。通过与波士顿的Beth Israel Deaconess Medical Center建立新的合作关系,我们将在不同医院环境中评估临床推理能力。在一项前瞻性研究中,患者将直接与系统互动,其表现将对照医生的独立评估进行衡量。与临床团队并肩工作将揭示这项技术在哪些方面取得成功、在哪些方面存在不足,以及它如何融入繁忙的工作流程。
微软的健康事业
医疗 AI 的快速进步正在为患者和临床医生带来新的可能性。为了将这一进展转化为实际影响,我们正汇聚微软各健康团队——包括 Microsoft Research 的科学家以及 Dragon Copilot 和 PowerScribe 等产品背后的团队——在 Microsoft AI 形成一体化协作。通过携手合作,我们将加速交付值得信赖的 AI 系统,推动更好的临床结果和护理体验。
与我们共创未来
我们是一个精干、行动迅速的实验室,汇聚了世界上一些最有才华的人才。我们在 MAI 拥有一份令人振奋的算力路线图,正在快速且大规模地扩展。我们还有一个我们真正相信的雄心勃勃的使命。我们也很幸运能与出色的产品团队合作,让我们的模型有机会触达数十亿用户并创造巨大的积极影响。如果你是一位才华横溢、雄心勃勃且不摆架子的人,你会非常适合这里——快来加入我们,一起打造我们的下一代模型!
来源:Microsoft AI:官方博客 · microsoft.ai
来源:RadarAI · aihot.news