arXiv cs.CL· Qianchu Liu, Sheng Zhang, Guanghui Qin, Jeya Maria Jose Valanarasu, Xiaoke Huang, Peniel Argaw, Maximilian Rokuss, Mingyu Lu, Timothy Ossowski, Juan Manuel Zambrano Chaves, Cliff Wong, Naisargi Patel, Yashna Hasija, Mu Wei, Wen-wai Yim, Qin Liu, Zilin Jing, Jason Entenmann, Naoto Usuyama, Tristan Naumann, Hoifung Poon·· 14 小时前AI 评分47
HealthAgentBench：面向前沿 AI 智能体的真实医疗智能体环境统一基准套件
HealthAgentBench: A Unified Benchmark Suite of Realistic Agentic Healthcare Environments for Challenging Frontier AI Agents
AI 导读
HealthAgentBench 发布，包含覆盖 9 个类别、各配独立环境的 75 项医疗智能体任务，涵盖诊断、标本评估、研究与数据管理流程。
正文 · AI 翻译
作者：Qianchu Liu、Sheng Zhang、Guanghui Qin、Jeya Maria Jose Valanarasu、Xiaoke Huang、Peniel Argaw、Maximilian Rokuss、Mingyu Lu、Timothy Ossowski、Juan Manuel Zambrano Chaves、Cliff Wong、Naisargi Patel、Yashna Hasija、Mu Wei、Wen-wai Yim、Qin Liu、Zilin Jing、Jason Entenmann、Naoto Usuyama、Tristan Naumann、Hoifung Poon
摘要：随着 AI 智能体在复杂、长程推理方面的能力日益增强，严格的评估对于衡量其面向真实医疗健康应用的进展至关重要。然而，现有的医疗健康基准往往是静态的，或在临床范围上较为狭窄，这促使人们更广泛地评估智能体在原始患者数据上的表现。我们推出 HealthAgentBench，这是一套包含 9 个类别、共 75 项智能体式医疗健康任务的基准，每项任务都有其独特的环境。该基准套件涵盖诊断、标本评估、研究和数据管理工作流，以及广泛的模态。每项任务都旨在复现端到端的临床工作流：给定任务说明和支持资源，智能体必须探索原始医疗健康数据，在复杂环境中操作，并执行超越简单提示的多步骤解决方案，例如查询大型临床数据库或解读千兆像素病理图像。所有任务均使用源自参考标签、可执行规则或计算基线的二元成功标准进行评分。我们评估了六个智能体（通过 Codex 的三个 GPT 模型和通过 Claude Code 的三个 Claude 模型），每项任务进行一次计分尝试（共 450 次评估）。总体成功率在 32.0% 到 57.3% 之间；Claude Code Opus-5.5 以 57.3% 的成功率领先，GPT-6-astra 和 Sonnet-5.5 以 50.7% 并列其后。各类别之间的表现差异显著，CT 和 MRI 等专业成像模态尤其困难。HealthAgentBench 提供了一个具有挑战性且贴近现实的基准，未来仍有很大的进步空间。我们在 https://github.com/microsoft/HealthAgentBench 发布了该基准。
| 主题： | 人工智能（cs.AI）；计算与语言（cs.CL）；计算机视觉与模式识别（cs.CV） |
| 引用为： | arXiv:2606.31179 [cs.AI] |
| （或本版本使用 arXiv:2606.31179v2 [cs.AI]） | |
| https://doi.org/10.48550/arXiv.2606.31179 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Qianchu Liu [查看邮箱]
[v1]
2026年6月30日星期二 06:09:01 UTC（2,438 KB）
[v2]
2026年10月25日星期日 02:14:40 UTC（1,059 KB）
来源：arXiv cs.CL · arxiv.org