arXiv cs.AI· Rui Tang, Hongqiu Wang·· 3 天前AI 评分34
MedHarnessBench：面向医疗智能体评估的统一基准
MedHarnessBench: A Unified Benchmark for Healthcare Agent Evaluation
AI 导读
研究者提出 Medical Harness Protocol 与 MedHarnessBench，用七个医疗流程维度独立评估智能体执行，覆盖 FHIR/EHR 操作、医疗管理接口和多模态临床工具共 342 个可执行任务。
正文 · AI 翻译
摘要：医疗智能体必须通过异构工具和有状态工作流，将纵向临床证据转化为可靠行动；在此类条件下，以模型为中心的系统可能会丢失上下文、误用工具、无法验证关键性转换，或跨越授权边界。现有的医疗智能体基准主要强调终端任务结果，因此难以判断执行失败究竟源于智能体模型、运行时框架，还是二者的交互。我们提出医疗框架协议（Medical Harness Protocol），这是一个保持结果不变的框架，独立评估七个医疗保健特定的过程维度：护理行动履行、临床资源胜任力、患者-证据一致性、临床工作流连续性、临床可审计性、闭环验证和临床行为边界。归一化干预轨迹进一步追踪运行时支持是否可用、是否被激活、是否被交付、是否被智能体采纳，以及是否传播到后续行为中。我们将该协议实例化为 MedHarnessBench，包含 342 个可执行任务，涵盖 FHIR/EHR 操作、医疗保健管理接口和多模态临床工具。在超过 16,000 次受控任务执行中，MedHarness 在终端任务成功率、中间子任务完成度和医疗保健特定过程质量方面均带来广泛提升。我们进一步将 MedHarness 与多个通用框架进行对比评估，并使用受控单故障扰动来验证七维评估的敏感性和区分度。这些结果表明，医疗保健特定的运行时支持可以显著提升任务完成度和执行质量，同时揭示仅凭终端结果无法捕捉的失败。代码和资源可在 此 https URL 获取。
| 学科： | 人工智能（cs.AI） |
| 引用为： | arXiv:2610.15714 [cs.AI] |
| （或 arXiv:2610.15714v1 [cs.AI] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2610.15714 arXiv 颁发的 DOI 通过 DataCite（待注册） |
提交历史
来自：Rui Tang [查看电子邮件]
[v1]
2026年10月11日星期日 15:57:52 UTC（3,231 KB）
来源：arXiv cs.AI · arxiv.org