arXiv cs.CL· Won Seok Jang, Youngbin Jang, Chanyoung Ko, Hyunwook Kim, Zonghai Yao, Hong Yu·· 3 天前AI 评分31
DischargeBench：通过人格化患者模拟对 LLM 出院教育者进行部署前评估
DischargeBench: Pre-Deployment Evaluation of LLM Discharge Educators through Persona-Grounded Patient Simulation
AI 导读
研究者推出 DischargeBench，一个让候选 LLM 教育者在开放式多轮对话中向人格化模拟患者讲解出院计划的部署前基准，并构建了覆盖 16 个 ICD 章节、320 个病例的 MIMIC-IV-Ext-DischargeBench 数据集。
正文 · AI 翻译
摘要：有效的出院教育是个性化的：临床医生会根据每位患者的识字水平、记忆力和性格来调整出院计划。在大型语言模型（LLM）与真实患者承担这一角色之前，需要在与多样化患者的对话中对它们进行评估，然而现有的评估针对的是静态、工件生成或问答任务。我们提出了 **DischargeBench**，这是一个部署前基准测试，其中候选 LLM 教育者在开放式、多轮对话中教导一个基于人物设定的模拟患者。我们整理了 **MIMIC-IV-Ext-DischargeBench**，涵盖 16 个 ICD 章节的 320 个案例，每个案例都配有一个患者人物设定，其性格、教育水平、健康素养和记忆力各不相同。每段对话都由一个经医生标注验证的 LLM 评判员从对话质量、主题清单得分（TCS）、模拟理解得分（SCS）和断言级安全审计（CLSA）四个方面进行评分。在八个闭源和开源 LLM 中，最佳模型在 TCS 上仅得 0.70，在 SCS 上仅得 0.72，而且不信任和焦虑的患者会降低每个模型的理解得分。DischargeBench 旨在作为人工评估之前的筛选步骤，而非证明其已准备好教育患者的证据。
| 主题： | 计算与语言（cs.CL） |
| 引用为： | arXiv:2609.20827 [cs.CL] |
| （或 arXiv:2609.20827v2 [cs.CL] 用于此版本） | |
| https://doi.org/10.48550/arXiv.2609.20827 arXiv 颁发的 DOI，通过 DataCite |
提交历史
来自：Won Seok Jang [查看电子邮件]
[v1]
2026年7月22日星期三 13:24:24 UTC（5,705 KB）
[v2]
2026年10月13日星期二 20:12:12 UTC（1,338 KB）
来源：arXiv cs.CL · arxiv.org