CHI-Bench：AI 智能体能否自动完成端到端、长程、规则密集的医疗工作流
CHI-Bench: Can AI Agents Automate End-to-End, Long-Horizon, Policy-Rich Healthcare Workflows?
研究团队提出 CHI-Bench（χ-Bench），用于评测智能体在医疗服务方预授权、支付方使用管理和护理管理三类长程工作流中的表现。任务在包含 20 个医疗应用、87 个 MCP 工具的高保真模拟器中运行，并配有 1290 多份管理式医疗运营手册作为技能指引。
作者：Haolin Chen、Deon Metelski、Leon Qi、Tao Xia、Joonyul Lee、Steve Brown、Kevin Riley、Frank Wang、T. Y. Alvin Liu、Hank Capps MD、Zeyu Tang、Xiangchen Song、Lingjing Kong、Fan Feng、Tianyi Zeng、Zhiwei Liu、Zixian Ma、Hang Jiang、Fangli Geng、Yuan Yuan、Chenyu You、Qingsong Wen、Hua Wei、Yanjie Fu、Yue Zhao、Carl Yang、Biwei Huang、Kun Zhang、Caiming Xiong、Sanmi Koyejo、Eric P. Xing、Philip S. Yu、Weiran Yao
摘要：真实医疗运营的端到端自动化凸显了当前基准中代表性不足的三项能力：策略密度，即决策必须基于庞大的医疗、保险和运营规则库；多角色组合，即单个任务要求智能体扮演多个角色并进行交接；以及多边交互，即中间工作流步骤是多轮对话，例如同行评审和患者外联。我们推出 $\chi$-Bench，这是一个跨三个领域的长期医疗工作流基准：提供方事先授权、支付方使用管理和护理管理。每个任务都在一个高保真模拟器中向智能体提供一个临床案例，该模拟器包含 20 个医疗应用，通过 87 个 MCP 工具暴露，智能体必须在 1,290 多份文档的管理式护理运营手册技能的指导下，通过工具调用和撰写角色产物将其推进到最终状态。在 30 种智能体框架/模型配置中，最佳智能体仅解决了 28.0% 的任务，没有智能体在严格 pass^3 上超过 20%，而在单个会话中执行所有任务会使性能骤降至 3.8%。这些结果提出了一个假设：类似的差距很可能在其他策略密集、角色组合、不可逆的企业领域中显现。
| 评论： | 网站：此 https URL 代码：此 https URL 数据集：此 https URL |
| 主题： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2605.16679 [cs.CL] |
| （或此版本的 arXiv:2605.16679v4 [cs.CL]） | |
| https://doi.org/10.48550/arXiv.2605.16679 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Haolin Chen [查看电子邮件]
[v1]
2026年5月15日星期五 22:34:31 UTC（6,764 KB）
[v2]
2026年5月19日星期二 05:51:20 UTC（11,031 KB）
[v3]
2026年9月30日星期三 05:55:42 UTC（8,994 KB）
[v4]
2026年10月29日星期四 06:50:19 UTC（6,160 KB）
来源：arXiv cs.AI · arxiv.org