arXiv cs.CL· Suzannah E McKinney, Phuc Vu, Samuel A Justice, Christopher Humphries, Alyssa Pradhan, Timothy J Keyes, Kameron C Black, John L Havlik, David JH Wu, Jack W O'Sullivan, Ethan Goh, Sarah F Mercaldo, James M Hillis·· 2 天前AI 评分27
医疗领域大语言模型评估方法入门指南
A primer on evaluation methods for large language models in healthcare
AI 导读
一篇综述系统梳理了医疗 LLM 评估的四大关键领域：研究设计原则、统计方法、能力评估与临床应用评估。能力评估涵盖多项选择、智能体和多轮 benchmark，以及 token 用量与延迟等运行指标；临床应用评估则涉及自由文本输出准确性验证，如人工审核和 LLM-as-a-judge，以及临床试验方法。文章强调评估方法需与研究问题对齐。
正文 · AI 翻译
作者：Suzannah E McKinney、Phuc Vu、Samuel A Justice、Christopher Humphries、Alyssa Pradhan、Timothy J Keyes、Kameron C Black、John L Havlik、David JH Wu、Jack W O'Sullivan、Ethan Goh、Sarah F Mercaldo、James M Hillis
摘要：大语言模型（LLM）在医学中的应用范围日益扩大，其评估对于确保它们带来益处而非危害至关重要。由于多种原因，这种评估可能比传统机器学习更具挑战性，包括概率性和开放式的输出，以及随提示设计和累积上下文而变化的行为。本综述涵盖 LLM 评估的四个关键领域：研究设计原则、统计方法、能力评估和临床应用评估。能力评估考虑不同的基准，包括多项选择、智能体和多轮基准，以及 token 使用量和延迟等运行指标。临床应用评估涉及确定自由文本输出的准确性，例如人工审核和 LLM 作为评判者，以及临床试验方法。在各部分中，我们描述了基本概念和潜在陷阱，同时强调使评估方法与研究问题保持一致的重要性。总之，本文旨在为设计和执行医疗保健 LLM 的严格评估提供实用基础。
| 学科： | 计算与语言（cs.CL）；人工智能（cs.AI） |
| 引用为： | arXiv:2609.14819 [cs.CL] |
| （或 arXiv:2609.14819v3 [cs.CL] 为此版本） | |
| https://doi.org/10.48550/arXiv.2609.14819 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Suzannah McKinney E [查看电子邮件]
[v1]
2026年9月13日星期日 22:21:21 UTC（1,976 KB）
[v2]
2026年9月17日星期四 21:38:42 UTC（1,976 KB）
[v3]
2026年10月15日星期四 02:33:07 UTC（11,458 KB）
来源：arXiv cs.CL · arxiv.org