面向医疗 AI 的多方法评估框架：整合基准测试、LLM 自动评分与专家评审
Towards Multi-Method Evaluation of AI in Health: Integrating Benchmarks, Autoraters, and Expert Evaluation
研究者提出一套面向医疗 GenAI 的结构化多方法评估框架，以 Critical User Journeys（CUJs）锚定评估重点，并映射到基础模型开发、产品开发、部署后监控三阶段生命周期。
作者：Sarah Montgomery-Taylor、Hamsa Subramaniam、Rob Brisk、Liam Foster、Jack Ching、Andrew Marshall、Jim Taylor、John Hernandez、Jen McKay、Dillon Obika、Nnamdi Ezeanochie、Nira Goren、Tiffany Guo、Rachel Kwon、Arlene Chung、Jacqueline Shreibati、Stella Yeoum、Brett Hatfield、Zelda Gulledge、Ankit Nathu、Ferenc Kazinczi、Yun Liu、Jonathan Krause、Heather Cole-Lewis、Susan Thomas、Megan Jones Bell、Bakul Patel、Joelle Barral、Katherine Chou、Yossi Matias、Dana Gelb Safran、Elizabeth A. McGlynn、Michael Howell
摘要：通用生成式 AI（GenAI）模型正迅速被医疗健康领域采用，但用传统评估框架对其进行评估颇具挑战。这些概念、方法和实践层面的挑战，与数十年来评估临床医生及卫生系统质量与安全的工作相类似。我们描述了将多个领域的方法与新兴技术手段相结合，构建成一个结构化、多方法的评估框架，旨在对医疗健康领域的 GenAI 进行大规模、全方位的评估。该方法首先将评估锚定到关键用户旅程（CUJ），以帮助从大量选择空间中确定优先级，并将这些旅程映射到分阶段的 AI 系统生命周期（基础模型开发、产品开发和部署后监测），因为每个阶段的评估都需要不同的方法。在此背景下，该方法随后在准确性、安全性和有用性三个核心维度上整合了三种不同的评估方法（封闭式问题基准测试、LLM 作为评判者的自动评分器，以及专家人工审核）。综合来看，该方法提供了一个战略框架，以弥合基准测试结果与现实世界表现之间的差距，目标是支持产品团队、卫生系统和监管机构在开发、采购和部署过程中的决策与问责。
| 评论： | 16 页，1 张图，2 张表 |
| 主题： | 计算机与社会（cs.CY） |
| 引用为： | arXiv:2611.05127 [cs.CY] |
| （或 arXiv:2611.05127v2 [cs.CY] 为本版本） | |
| https://doi.org/10.48550/arXiv.2611.05127 由 DataCite 颁发的 arXiv DOI |
提交历史
来自：Sarah Montgomery-Taylor [查看邮箱]
[v1]
2026年11月3日 星期二 16:12:47 UTC（355 KB）
[v2]
2026年11月4日 星期三 18:33:13 UTC（355 KB）
来源：arXiv cs.CY · arxiv.org